Autore Topic: Bloccare o rimuovere pagine utilizzando un file robots.txt  (Letto 2608 volte)

Offline Conanbarbaro

  • Appassionato
  • ***
  • Post: 417
  • Sesso: Maschio
    • Mostra profilo
Ciao a tutti,

durante la normale verifica nella mia pagina degli strumenti dei webmaster di Google, ho notato l'avviso di 41 errori di scansione nella sezione "Soggetto a restrizioni da robots.txt".

Il dettaglio corrispondente ad ogni errore per ogni URL riporta sempre la dicitura "URL limitato da robots.txt".

Ora: come funziona esattamente il file "robots.txt" e a cosa serve effettivamente?

Inoltre: conviene seguire i consigli di Google che dice appunto di bloccare o rimuovere le pagine usando questo file, o addirittura creare un file robots utilizzando uno strumento di Google o manualmente?

Grazie mille in anticipo  ;)
Chi si estranea dalla lotta...

Offline ilvanni

  • Global Moderator
  • Instancabile
  • ********
  • Post: 7012
  • Sesso: Maschio
  • Giovanni Vacca
    • Mostra profilo
Re:Bloccare o rimuovere pagine utilizzando un file robots.txt
« Risposta #1 il: 17 Gen 2010, 21:06:20 »
Il file robots serve appunto ai motori di ricerca a precisare cosa indicizzare e cosa no.
Ci sono 2 istruzioni per questo: Allow e Disallow, cio permetti o nega.
Nella sezione di google riguardante l'assistenza ai webmasters troverai anche queste guide che ti potranno illuminare sull'uso del file robots.txt:

http://www.google.com/support/webmasters/bin/answer.py?hl=it&answer=156412

https://www.google.com/support/webmasters/bin/answer.py?hl=it&answer=35235

http://www.google.com/support/webmasters/bin/answer.py?hl=it&answer=93708

http://www.google.com/support/webmasters/bin/answer.py?hl=it&answer=156449

Controlla quindi il tuo robots.txt e verifica che le cartelle siano tutte a Disallow (per motivi di sicurezza) ma che non ci siano url esplicitamente dichiarati a disallow, altrimenti automaticamente i bots e gli user-agent li scarteranno a priori.

Offline Conanbarbaro

  • Appassionato
  • ***
  • Post: 417
  • Sesso: Maschio
    • Mostra profilo
Re:Bloccare o rimuovere pagine utilizzando un file robots.txt
« Risposta #2 il: 18 Gen 2010, 17:10:09 »
Ti ringrazio ilvanni, avevo gi lettoquelle guide che suggerisci tu.

Purtroppo non ne sono venuto molto a capo e quindi per evitare di far danni, dato che anche nelle guide viene specificato piu' volte che, anche cambiando la situazione non stravolgi molto, preferisco lasciare tutto cos com'.

Perch a quanto pare, Googlebot riesce comunque ad aggirare le imposizioni e gli URL a volte vengono inseriti nel motore ugualmente.

Comunque, per la cronaca, io non ho impostato nulla n Allow, n Disallow (non saprei nemmeno come si fa)....

 :P
Chi si estranea dalla lotta...

 

Host

Torna su