Ciao ragazzi!
Supponiamo che io abbia la cartella "1" con all'interno i file 10, 11, 12, 13 e la cartella A.
La cartella A contiene i file 310 e 320 e le cartelle AB e AC.
Ora supponiamo di avere un robots.txt con scritto:
Disallow: /1/
Allow: /1/A/
Domande: lo spider mi indicizza
- i file 310 e 320?
- le cartelle AB e AC?
oppure in quest'ultimo caso devo aggiungere al robots.txt: "Allow; /1/A/AB" per far indicizzare i file dentro AB??
Grazie!