Senza bisogno di usare i backup (che non è detto siano aggiornatissimi e qualcosa potresti perdere) una "misura" alternativa può essere quella di accedere via FTP e cancellare la directory del componente/modulo/plugin interessato.
Di certo anche con questa soluzione ci sono inconvenienti, perchè il codice rimane sporco, perchè dal lato amministratore vedi i moduli ancora in elenco (non è possibile eliminarli perchè non trovando più i files da errore), e chissà cos'altro, ma a mali estremi...
In più poi magari, recuperato il contenuto non incluso nel backup, puoi operare la soluzione che hai scelto tu.