Dipende, entrambe le strade hanno vantaggi e svantaggi.
Io farei così: porta una copia del sito in uno spazio di prova e tenta l'aggiornamento a joomla 3.x, se va tutto liscio sposti il sito aggiornato nel server definitivo.
Se invece l'aggiornamento ti da un sacco di rogne nello spazio di prova ti costruisci il tuo bel sito nuovo partendo direttamente da joomla 3.x e poi quando completato lo metti nel server definitivo al posto di quello vecchio.