Cosa non riesci ad eliminare? Joomla va copiato in una sottocartella della lamp, basta eliminare il contenuto ed è fatta, successivamente in locale elimini anche il db; per quanto riguarda la lamp che hai usato, l'hai installata o ti sei scaricato il pacchetto da decomprimere? Perchè se è quest'ultima puoi cancellare anche quello (se vuoi partire proprio da zero). A proposito, se vuoi ricominciare e vorresti usare xampp, usa la ver. 1.7.1.