Ciao,
la questione richiederebbe un libro: ma intanto puoi ottenere un buon 80% dell'ottimizzazione possibile configurando correttamente la cache, comprimendo le immagini se opportuno, e combinando/comprimendo le risorse (puoi anche usare il mio plugin toomanyfiles per questo!).
Usa gtmetrix, page speed di google, e segui le indicazioni; ma un consiglio: prima finisci il sito, poi ottimizzalo: è un lavoraccio, meglio farlo una volta sola.