Lasciarle appesantisce solo le funzioni svolte su tutto il db (es. dump di backup, ecc) ma solitamente le estensioni lavorano solo su specifiche tabelle quindi non che ci siano o no tipicamente non noterai la differenza.
Ad ogni modo puoi cancelarle solo a mano