Credo che il problema stia il fatto che gli URL delle tue pagine siano formate dalla presenza (errata) di "index.php". Succede quando si attiva la configurazione SEO nella configurazione globale.
Immagino tu abbia rinominato il file in ".htaccess", giusto? Se non ricordo male per rimuovere la parte "index.php" bisognava decommentare la linea
#Options +FollowSymLinks
presente nel file .htaccess togliendo il carattere di "cancelletto". Potrei sbagliarmi però.
Attendiamo persone più esperte....
Edit
Vedo che mi hanno preceduto mentre scrivevo la mia risposta....
