Ciao.
Premesso che non so quale versione di JCH tu abbia installato (Free o Pro) e non so nemmeno quale delle opzioni d'ottimizzazione hai selezionato (minimum, intermediate, etc etc) ti consiglierei di fare attenzione.
Questo plugin occupa risorse abbastanza gravose per unire i JS e CSS, comprimerli e rilasciarli.
Per vedere questo, basta che attivi il Debug di Joomla.
Su alcuni sito ho notato addirittura 1 / 1.2 secondi solo per unire i CSS.
Conta poi che genera links .js e .css On Fly ovvero vengono generati "virtualmente" in base alla Home, a quella particolare pagina, al componente Forum, Image Gallery, etc etc... finchè non li "memorizza" tutti.
Prova a disabilitarlo ed effettua una prova con i vari web tools che trovi in rete per misurare la velocità.
Fai un paragone quand'è abilitato e disabilitato.
Sempre con il Debug di Joomla attivato, controlla tutto il Rendering e le Queries del DB.
Ripara ed Ottimizza le tabelle del tuo Database volendo con le funzioni di Phpmyadmin.