il file robots.txt ha le direttive per i crawler/spider dei motori di ricerca, ed in parte anche di social network/ecc..., infatti se vedi, togliendo la parte
#commentata ### che lo descrive, inizia cosi
User-agent: * e l'asterisco
* indica "tutti", quindi il disallow: indica ai motori di ricerca che quelle cartelle
non vanno scansionate ed indicizzate, quando il vecchio file di joomla aveva disallow: images si toglieva per far indicizzare le immagini, che sono file, come sai i contenuti, tra cui anche i testi, di joomla vengono generati dinamicamente con i dati presenti sul DB, i file da mostrare, le immagini, ecc.., e quindi mostrati come pagine html ed anche le pagine dei prodotti di virtuemart funzionano allo stesso modo, tutti quei disallow che leggi sul robots sono necessari a tenere nascoste le cartelle di "sistema" di joomla, stai tranquillo che le pagine di virtuemart vengono indicizzate correttamente, per maggiori info sul robots.txt di joomla puoi leggere qui,
http://www.joomla.it/articoli-community-16-e-17-tab/5503-come-impostare-il-file-robotstxt-in-joomla.html