Il robots.txt non da nessuna garanzia, se c'è un link che rimanda alla pagina è come se non ci fosse.
Il NoFollow indica al motore di ricerca di non seguire i link presenti nella pagina, no di non seguire il link specifico.
Per essere certo che una pagina non venga indicizzata nel suo codice sorgente ci deve essere:
<meta name="robots" content="NoIndex, follow" />
deve essere specificato che il contenuto non deve essere indicizzato, l'attributo Follow/NoFollow invece indica al crawel se deve seguire i link presenti nella pagina o interrompere li la scansione.
Maurizio ZioPal