li spider, come googlebot, come sai esplorano il web per indicizzare le pagine.
Da ciascuna pagina che trovano nel web, poi, seguono i link che trovano in modo da indicizzare altre pagine.
Dalle espressioni che ho usato, avrai già compreso che "NOINDEX" significa ride ai robots/spider di non indicizzare quella pagina, "NOFOLLOW" di non seguire i link che ci stanno dentro.
Su questa "indicazioni" per gli spider, comunque, ci sono diverse opinioni e comunque diversi comportamenti da parte degli spider stessi. Slurp di yahoo sembra impiparsene bellamente, googlebot di google sembra eseguire.