Il modello di Joomla, sebbene molto flessibile, non è pensato per la velocità in presenza di tanti articoli. Il problema più grave è la mancata ottimizzazione dei moduli.
Non ho mai affrontato la questione del backend, ma per il frontend si, e la soluzione in questi casi purtroppo richiede di correggere il codice, poi puoi fare una pull request e aspettare che venga incluso nella release di Joomla successiva. Ma anche il db non è ottimizzato, creando indici spesso questi tempi riesci a ridurli drasticamente.
Ma considera anche l'opportunità di ridurre drasticamente il numero di articoli per categoria e suddividerli in sottocategorie; usando poi magari i tag per organizzazioni successive. Tutti i moduli e le viste di Joomla permettono di includere una categoria, oppure una categoria e relative sottocategorie; quindi non perderesti nulla di funzionalità sul frontend; e renderesti il backend più veloce anche da usare (trovare un articolo tra 30-50 è un conto, tra mille e più, se non ricordi bene il titolo, è finita!)