Certo che puoi, anche noi qui su joomla.it facciamo sparire la colonna di dx per fare spazio al forum.
Il metodo che ti consiglio è questo: crei un nuovo template duplicando quello che hai in uso, gli cambi nome (cambia il nome anche all'interno del file php e xml) ed a questo template togli le colonne che vuoi, poi associ dal menu template questo nuovo template alla voce menu del forum