.. dovrebbero. Hai detto bene.
già
Agire sul file robots.txt da una sicurezza maggiore.
In particolare ho notato che, se le pagine sono già state indicizzate e si vogliono eliminare, l'uso dei tag è poco (o niente) efficace, mentre robots.txt è una garanzia.
Nella mia piccola esperienza ho visto anche che google, comunque, ha evitato le pagine che ho pubblicato mettendo da subito i metatag NOINDEX.