aprendo la pagina di robots.txt nel pannello di controllo di google mi mostra 2 campi, il primo in cui sono indicati i contenuti che lo spider non deve considerare, mentre il secondo campo contiene l'url del mio sito.
La scritta sopra recita:
Abbiamo aggiunto noi il primo. Elenca tutti gli URL (uno per riga) che desideri verificare...
se aggiungo tutti gli altri url me li indicizza?
sapevo che il robots.txt serviva ad escludere dei contenuti alla ricerca e non ad includerli,
cosa mi potete dire al riguardo?
altrimenti non sarebbe tanto differente dalla sitemap che mi creo con opensef
grazie mille
