cerca di capire (e in questo fatti aiutare dal servizio di hosting) se sono stati "depositati" file e, in questo caso, falli eliminare.
Da un computer pulito, prendi un pacchetto joomla completo nuovo, togli la cartella "installation" e carica tutto nello spazio web
Aggiungo che il servizio hosting dovrebbe essere in grado di dirti quali file effettuano la chiamata.
Cambia password e user dell'ftp, del database e dell'utente admin di joomla.
Chiedi al servizio hosting di tenere monitorato il sito per vedere se ci sono ulteriori problemi