In parte ho risolto il problema, o meglio ne ho capito qualcosa di più
Ho fatto un'altra installazione di joomla, e sostituendo il vecchio favicon col nuovo, è andato tutto bene... Sull'installazione precedente, sui cui avevo fatto tutti i tentativi, il problema è che non mi accetta l'immagine, o meglio fa finta di caricarla dall'ftp ma poi se vado a vedere i dettagli mi dice che la dimensione del file è zero... Ho provato a carcarla dal pannello di controllo, ma mi dice che il formato non è valido... Quindi vuol dire che il problema è là e non nel fatto che la sostituivo nel posto sbagliato! Perché non lo so, la versione di joomla è la stessa, quindi non è un roblema di software e anche l'immagine è la stessa... Boh...
Comunque almeno ho capito come sostituire il favicon