Con Joomla non ti serve moltissimo.
Avrai installato ovviamente Apache, PHP e MySQL che sono fondamentali per il funzionamento di un web server e a maggior ragione con Joomla. Stai attento ad installare tutte le librerie che servono, principalmente quelle grafiche.
Poi ti consiglio di installare:
FTP per caricare i file con più facilità e dare anche la possibilità a qualcun'altro di farlo, i compressori/decompressori più importanti, Mail (perché potrebbe servirti di inviare mail dal sito usando SMTP), PHPmyAdmin per gestire i data base e fare i backup, poi ti serve un programma di statistiche, a meno che tu non voglia utilizzare google per questo.
Poi una cosa di fondamentale importanza sono i backup, sarebbe utile che li riuscissi a fare in automatico ogni notte. Puoi farlo con degli script ma se ti fai un giro nel forum dovresti trovare un qualche modulo di Joomla che lo fa (ma non ne sono sicuro).
Credo non ti serva nient'altro. L'importante è che lo configuri bene con i permessi, gli utenti ecc. e che stai attento alla parte locales che è un gran casino, ma se non è a posto ogni volta fa un casino assurdo con i giorni, le date ecc.