Joomla.it Forum
Componenti per Joomla! => SEO => : Conanbarbaro 16 Jan 2010, 23:54:43
-
Ciao a tutti,
durante la normale verifica nella mia pagina degli strumenti dei webmaster di Google, ho notato l'avviso di 41 errori di scansione nella sezione "Soggetto a restrizioni da robots.txt".
Il dettaglio corrispondente ad ogni errore per ogni URL riporta sempre la dicitura "URL limitato da robots.txt".
Ora: come funziona esattamente il file "robots.txt" e a cosa serve effettivamente?
Inoltre: conviene seguire i consigli di Google che dice appunto di bloccare o rimuovere le pagine usando questo file, o addirittura creare un file robots utilizzando uno strumento di Google o manualmente?
Grazie mille in anticipo ;)
-
Il file robots serve appunto ai motori di ricerca a precisare cosa indicizzare e cosa no.
Ci sono 2 istruzioni per questo: Allow e Disallow, cioè permetti o nega.
Nella sezione di google riguardante l'assistenza ai webmasters troverai anche queste guide che ti potranno illuminare sull'uso del file robots.txt:
http://www.google.com/support/webmasters/bin/answer.py?hl=it&answer=156412
https://www.google.com/support/webmasters/bin/answer.py?hl=it&answer=35235
http://www.google.com/support/webmasters/bin/answer.py?hl=it&answer=93708
http://www.google.com/support/webmasters/bin/answer.py?hl=it&answer=156449
Controlla quindi il tuo robots.txt e verifica che le cartelle siano tutte a Disallow (per motivi di sicurezza) ma che non ci siano url esplicitamente dichiarati a disallow, altrimenti automaticamente i bots e gli user-agent li scarteranno a priori.
-
Ti ringrazio ilvanni, avevo già lettoquelle guide che suggerisci tu.
Purtroppo non ne sono venuto molto a capo e quindi per evitare di far danni, dato che anche nelle guide viene specificato piu' volte che, anche cambiando la situazione non stravolgi molto, preferisco lasciare tutto così com'è.
Perchè a quanto pare, Googlebot riesce comunque ad aggirare le imposizioni e gli URL a volte vengono inseriti nel motore ugualmente.
Comunque, per la cronaca, io non ho impostato nulla nè Allow, nè Disallow (non saprei nemmeno come si fa)....
:P