il campo robot così come il file robot.txt servono a dare delle indicazioni precise ai moroti di ricerca circa l'indicizzazione o meno delle pagine e di ogni altra parte del sito.
In particolare nel campo robot bisogna indicare:
index, follow il quale indica che il motore di ricerca può indicizzare ( e quindi inserire negli elenchi propri per fare visualizzare l'elemento) sia la pagina interessata e le altre pagine che sono richiamate da questa (follow); index, no follow che è come il primo comando solo che non permette di indicizzare gli elementi che seguono (no follow); no index, no follow il quale dice al motore di ricerca di non indicizzare nè la pagina relativa ne gli elemnti che discendono da questa.
Spero di esserti stato d'aiuto.
Ciao.