Prima di tutto una definizione.
Normalmente si parla di cache in maniera generica e si intende la cache lato server. A questo sono servite le tue prove con il plugin system-cache e l'abilitazione della cache progressiva nel pannello di controllo. Tralasciamo too many files per un momento (lascialo disabilitato). Con questi due abilitati se non hai componenti o moduli che non supportano la cache (purtroppo ne esistono tanti, ovviamente non nel core di Joomla) dovresti ottenere un miglioramento netto del TTFB (time to first byte) ovvero del tempo di risposta del server.
Too Many Files è un eccellente prodotto (non solo perché l'ho scritto io!) ma fa una cosa piuttosto difficile, ed un po' di configurazione è spesso necessaria. Serve a combinare e comprimere i file css e js, e a spostare i js in fondo alla pagina. A volte però c'è un singolo file che non si lascia comprimere, ovvero ti ritrovi il sito tutto sfondato e devi provare ad escludere i css uno per uno (dalle impostazioni avanzate del plugin) finché non trovi quello che rompe le scatole. Un esempio che mi ha dato problemi ultimamente è un modal.css, ma non si può sapere, dipende tanto dal tuo sito. A volte mi tocca metter su l'intera lista dei css, ed escluderli a blocchi finché non trovo quello (o quelli) che causano problemi. Vedi però di fare queste prove con la cache disabilitata altrimenti non vedi il risultato subito, e rischi di capire male cosa succede. E prima comprimi i css, poi passa ai js.