Sicuramente, il tempo da te segnalato non è accettabile. Può darsi che il tuo hosting non sia ideale o che mod_security faccia qualche scherzo ma non credo, non so, lo sto studiando proprio ora

.
Quello che puoi fare, a prescindere, è cercare di ottimizzare il tuo sito. In effetti, dopo aver caricato la prima pagina le cose migliorano. Hai attivato la cache, immagino.. Se è così, vuol dire che le cose migliorano perché il peso del sito viene cachato dopo il primo caricamento.
Ti suggerisco di guardare questo link.
http://www.joomlashow.it/articoli/performance/migliorare-velocita-caricamento-joomla-1.5/Noterai che ci sono molte cose da fare, alcune facili, alcune no. La prima volta sembrerà un articolo difficile, ma, dopo averlo letto molte volte, potrebbe darti belle soddisfazioni...
In particolare, per quello che riguarda la funzione gzip, querychace (
SOLO SE NON HAI il LEGACY attivato), e magari di disattivare mootool (se non ti serve, magari dovrai rinunciare a qualcos'altro- nel tuo caso non credo - ma in ogni caso pesa tantissimo, in pratica solo questa libreria pesa metà del tuo sito) con il plugin citato nell'articolo... personalmente io non prendo posizione ma in molti criticano questa libreria che ha come scopo quello di inserire effetti speciali. Io la usavo solo perchè era necessaria per dare un effetto più carino al "vota articolo", ma l'ho tolta per via del peso veramente eccessivo.
Un altro plugin che ti consiglio è quello relativo all'accorpamento dei file css. E' molto flessibile perché ti permette di disabilitare questa funzione per i componenti con cui potrebbe entrare in conflitto (per esempio il forum).
Se usando questo plugin il sito non si vedesse più, o non si vedesse qualche pagina non preoccuparti: a parte che basta disabilitare il plugin, ma la cosa migliore sarebbe quella di capire quale componente dà fastidio al plugin ed escluderlo con le opzioni del plugin. Potrebbe essere utile, perché caricheresti un unico file css invece di 7. Stesso discorso per gli script. Carichi 76 k di scripts... non sono pochi... Io non sono un esperto ma devo dire che faccio siti abbastanza carini e sai quanti kb di script carico? 0

ovviamente ci sono riuscito grazie a quella guida... e a molti altri consigli che ho letto su questo forum.
Un'altra cosa che produce rallentamenti sono le statistiche di joomla. Se le hai, sarebbe meglio toglierle e pensare ad altro.. tipo G analitics...
Per scrupolo, sempre bene ricordarlo,
un bel backup prima di aggeggiare con questi tool...

Ps: L'ultima parte del link sul file .htaccess potrebbe spaventare, in effetti non è così difficile e a me ha dato ottimi risultati!
Ciao!