Se non vado errato, index, follow è l'impostazione di default per i programmi dei motori di ricerca. Se non c'è metatag adeguato si comportano così.
Comunque puoi mettere un file robots.txt nella cartella radice del sito, con le istruzioni.
... come dichiarato da un grande operatore: "ogni motore di ricerca che si rispetti segue le indicazioni per gli spider ..." Se non sai come farlo ti basta chiamarne qualcuno dai siti più importanti: ce l' hanno tutti. Ciao