Ciao,
effettivamente se guardi in vista codice una installazione joomla - il semplice template protostar - richiama tanti files js e css.
Anche io mi sono imbattuto in quel "percorso" ed ho voluto provare ad ottimizzare il risultato di G. page speed.
Innanzitutto annulla i richiami agli script js che non ti servono. In protostar ce ne sono parecchi.
Introduci solo quelli necessari per il template. Inoltre, sarebbe bene che il codice js fosse scritto nella pagina.
Idem per il css. tutto nella pagina. Metti il css necessario al caricamento in alto, tra la head e quello "secondario" verso la fine del file index.php. Google fa vedere un esempio in merito.
Ottimizzare immagini.
Installa il plugin JCH_Optimize.
Abilita il plugin browser cache.
Quando ti appare l'avviso "riduci il tempo di risposta del server....", lì non credo si possa fare qualcosa. Dipende dal server, appunto.
Io sono arrivato a 97-98%, partendo da quasi il 50%.
Ti posso assicurare che è abbastanza sfiancante come lavoro da fare.
Saluti