Quali cartelle posso cancellare dal Plesk senza fare danni? 
Se esiste un modo più "pulito" prego suggerirmi.
il modo più pulito è cancellarle tramite ftp.
se non hai un client ftp uno ottimo freeware per windows è filezilla. cercalo con un motore di ricerca.
prova ad installare localmente joomla sul tuo computer e guarda come si chiamano le cartelle.
poi una per una con un client ftp le cancelli.
potresti anche anche svuotare il database che hai usato per l'installazione di joomla, lo puoi fare con phpmyadmin (che ti deve venire messo a disposizione dal tuo provider).