Come ti è stato suggerito
puoi provare ad alleggerire il logo (anche se una volta in cache non dovrebbe dare più tanti problemi).
Io però cercherei di capire se il problema è proprio Joomla! o piuttosto il tuo hosting.
Io spesso faccio così, creo una cartella test sul server e ci carico dentro una pagina php che fa una query sul db e visualizza la select in forma tabellare. Se non sei in grado di farti sta pagina puoi metterci dentro anche solo l'istruzione phpinfo(), anche se il test è meno veritiero.
A questo punto faccio il confronto tra i tempi di risposta della home di Joomla! e della pagina /test/test.php e valuto se il problema è Joomla! o no.
Fino ad ora il problema non è mai stato Joomla!
