le cartelle le elimini via ftp,
stai attento ad eliminare solo quelle dentro la principale (root) e non le altre di sistema..
per il database è diverso, se hai un pannello gestione sito serio, potrai eliminare il database ed aprirne uno nuovo,
se non hai una pannello serio allora devi chiedere alla assistenza hosting di farlo per te e ti fai dare anche le istruzioni per quello nuovo..