entri via ftp nel sito.. nella cartella in cui ci sono i file joomla..
cerchi la cartella templates
dentro ci sono le cartelle dei template installi, entra in quella del template che stai utilizzando ora..
Cerchi li in mezzo dovrebbe esserci un file di nome "favicon.ico".. devi modificare quello..
essendo un file.ico deve rimanere tale, io uso iOS (il SO della Apple) ed ho un programma gia pre installato per questo formato.. non so se gli altri SO ne hanno uno.