Errori soft 404 segnalato da google webmaster

[garcialorca]

Mi è arrivato un messaggio nel sito strumenti per webmaster dove è registrato il mio sito (creato con joomla) che mi dice che potrebbero interrompere il servizio a causa di molti errori 404, non so proprio cosa fare, le pagine sono tutte indicizzate, avete qualche consiglio da darmi?
Grazie in anticipo

[ZioPal]

Ciao garcialorca,
cerca di essere più preciso così è difficile aiutarti. Quali pagine non riesce a trovare google WT? vedi un elemento comune, tipo le pagine sono in una cartella? Vengono dall'esterno?

Maurizio ZioPal

[garcialorca]

Sì, provo a formulare meglio la domanda, nel sito strumenti per webmaster google mi segnala che ci sono circa 100 pagine che non è riuscito ad indicizzare perché hanno un indirizzo errato, se ne producono sempre di più ogni giorno. Ho anche installato il componente redirect ed anche in questo caso mi segnala centinaia di pagine con indirizzo errato, mi chiedevo: cos'è che produce questo effetto a catena, cosa posso fare per risolvere il problema? Così il sito è quasi inagibile perché non viene indicizzato su google. Dove sbaglio?

[garcialorca]

Ti aggiungo un esempio di indirizzo errato segnato da google e dal componente redirect: http://psicologo-psicoterapeuta-roma.net/21-sample-data-articles/joomla/extensions/components/1-administrator-components.html?showall=&start=3 OPPURE: http://psicologo-psicoterapeuta-roma.net/21-sample-data-articles/joomla/extensions/components/52-users-component.html OPPURE: index.php?option=com_dshop

[ZioPal]

Ciao garcialorca,
onestamente non mi pare ci sia niete di strano in generale ti direi di toglire tutti i componenti e le estensioni che non usi perchè sicuramente il problema sta in uno di quelli.

Intanto potresti inibire l'accesso al crawler di google modificando il file robots.txt,
21-sample-data-articles questa per lui è una directory se aggiungi al robots

Codice: [Seleziona]

Disallow: /21-sample-data-articles
Aggiungendo righe per quelle che lui riconosce come directory dovresti quanto meno ridurre il numero di pagine duplicate.

Attenzione ad non inibilre l'accesso anche a pagine che devono essere visibili.

Maurizio ZioPal

[garcialorca]

Salve Ziopal, intanto ti ringrazio molto della risposta, volevo chiederti due cose: la prima: io ho molti moduli presenti già nell'istallazione di Joomla 2.5 che non utilizzo (per il momento sono sospesi), mi consigli comunque di eliminarli? Secondo aspetto: non sono per nulla un esperto, volevo chiederti la procedura esatta per modificare il file robot.txt, proprio per evitare di inibire l'accesso alle pagine che invece devono essere indicizzate. Grazie

[ZioPal]

Ciao garcialorca,
se i moduli fanno parte dell'installazione non rimuoverli e sufficente disabilitarli.

Per modificare il robots.txt puoi far riferimento alla guida di google o a questo mio articolo per la comunità su file robots.tx

Comunque non è complicato.

Maurizio ZioPal

[garcialorca]

Salve ZioPal, ho seguito il tuo articolo, ti riporto il file per verificare se ho fatto bene, come vedrai ho anche seguito la tua indicazione di non bloccare la cartella image e il link al site map che ho inserito alla fine (non so se è giusta la posizione), ho inserito inoltre la stringa che mi avevi suggerito per bloccare la cartella /21-sample-data-articles


# If the Joomla site is installed within a folder such as at # e.g. www.example.com/joomla/ the robots.txt file MUST be # moved to the site root at e.g. www.example.com/robots.txt # AND the joomla folder name MUST be prefixed to the disallowed # path, e.g. the Disallow rule for the /administrator/ folder # MUST be changed to read Disallow: /joomla/administrator/ # # For more information about the robots.txt standard, see: # http://www.robotstxt.org/orig.html # # For syntax checking, see: # http://www.sxw.org.uk/computing/robots/check.htmlUser-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /logs/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /21-sample-data-articles Sitemap: http://www.psicologo-psicoterapeuta-roma.net/index.php?option=com_xmap&view=xml&id=1

[ZioPal]

Ciao garcialorca,
anche se è un po' difficile da leggere così come l'hai postato , direi che il tuo file va bene.

La riga della site map puoi inserirla dove vuoi, va bene anche li dov'è.

Codice: [Seleziona]

Disallow: /21-sample-data-articles
questo era solo un suggerimento, e come questa dovresti inibire l'accesso anche ad altre cartelle che ti generano i contenuti duplicati, logicamente accertati sempre che non ci sia qualcosa che devi comunque indicizzare prima d'inibire l'accessso al robots.

Potresti aggiungere direttamente anche questa che da sola abbatte il 50% dei duplicati

Codice: [Seleziona]

Disallow: /?

Puoi/devi vedere in GWT i risultati sotto il menù salute, verifica che non sia stata inibita qualche pagina che ti serve.

Maurizio ZioPal

[garcialorca]

Salve Maurizio, grazie della risposta, nella sezione "salute" di GWT di google non riesco a capire se ho bloccato qualche pagina utile, vedo solo il file robot.txt che ancora non aggiornato le modifiche che tu mi hai suggerito, devo verificare qualcosa? Scusami se ti faccio molte domande, spero che le tue risposte sia utili anche ad altri, in effetti il tema è molto importante trattandosi di indicizzazione google.

[ZioPal]

Ciao garcialorca,
per prima cosa guarda in GWT sotto Salute > URL Bloccati, li trovi i riferiemnti al tuo file robots.txt, il numero di URL che ha bloccato e qualche altra informazione. se li non vedile modifiche che hai apportato significa che il file robots che hai fatto non è stato trovato.

Purtroppo non hai un vero report con le URL bloccate dal robots ma il princiopio è semplice se blocchi l'accesso alla cartella images tutti i file presenti in quella non verranno visti, quindi valuta cosa e dove va a leggere.

Maurizio ZioPal
PS in reltà la situazione è cambiaita con questa ultima versione di GWT, prima si potevano verificare le URL bloccate dal Robots

[garcialorca]

Rispetto al file robot.txt, mi dice che l'ultima versione è stata scaricata da google il 23 Maggio 2012, forse devo attendere che scarichi la nuova versione con le modifiche? Comunque nel link al file robot si vedono già le modifiche, non sono presenti nel riquadro sotto alla frase: "Contenuti di http://www.psicologo-psicoterapeuta-roma.net/robots.txt - modifica per testare i cambiamenti"