sì devi creare delle classi css per le voci di menù e poi impostare l'iimagine di sfondo (background-image), il colore, il carattere e tutto quello che vuoi..
Ma di quale menù parli, quello in alto o quello al lato? In quello in alto già c'è un qualcosa di simile...vedi che quando ci passi con il mouse diventa verde?Invece di mettere il colore devi mettere l'immagine. Non è molto complicato ma devi prendere un pò di manualità con i css.
Se ancora non l'hai fatto scarica firebug che ti consente di spulciare il codice css e html e fare anche delle modifiche "al volo" per vedere l'effetto delle istruzioni che inserisci.
Spero di essere stato chiaro