Allora, un'installazione di base joomla (quella che fai con il pacchetto d'installazione) comprende già funzioni che servono da base per la maggioranza dei siti, poi ognuno è libero di aggiungere ciò che vuole.
Per le estensioni non utilizzate sì, disinstalla quello che non usi e non ti serve (chiaramente quello installato da te, le estensioni native del pacchetto quelle lasciale) e soprattutto controlla che non ci siano anche attivi plugin e moduli di estensioni appunto non utilizzate.
Tutto ciò che è superfluo non ha ragione di rimanere installato.
Evita come ti ho detto all'inizio di usare moduli che non servono a niente e che magari ti rallentano (tipo orologi, contatori, immagini random se non necessarie, etc.) insomma vedi un pò tu ciò che ti serve e cosa no, questo lo sai solo tu.
Per il discorso della compressione zlib ti consiglio di non seguire quei passi (se non sei esperto, pratico e smanettone).
Piuttosto vai dal pannello di controllo di joomla, clicca su 'configurazione' e alla scheda 'server' seleziona il 'sì', così facendo la attivi direttamente da joomla.
Poi un consiglio: segui questa guida per attivare il seo sul tuo sito:
http://www.joomla.it/articoli-della-community/903-configurazione-seo-di-joomla-rendere-appetibile-il-sito-ai-motori-di-ricerca.htmlPoi magari periodicamente (va bene anche 1 volta al mese, dipende dalla frequenza con cui si aggiornano i contenuti) vai da phpmyadmin, e sul tuo database vai ad ottimizzare le tabelle.
Potrebbe bastare.