Robots.txt bisogna modificarlo?

[pixma22]

Vedevo le istruzioni su goole per indicizzare il proprio sito su google e mi diceva che il file robots.txt se non configurato può non fare vedere il mio sito.Ho provato a vedere se le mie pagine le legge ed è tutto apposto.Allora perchè se faccio un aricerca del mio sito non viene trovato?

[surfbit]

Non modificare il robots.txt. Con Google devi avere pazienza 

[.Andrea S.]

Quel file serve ad evitare che directory ad uso interno siano scansionate. Quindi tutte le dir inserite in robots.txt sono skippate dalla scansione di google.

[pixma22]

Grazie per il chiarimento