Come impedire indicizzazione di pagine vecchie?

[MirkoCaccia]

Salve a tutti,
da un una settimana mi sto sbattendo su un problema piuttosto rognoso.
ho aperto anche altre discussioni ma ora, dopo tanto sbattimento, penso di aver capito quale sia il problema effettivo. Però non conosco la soluzione.


In pratica il problema è il seguente:
La scansione degli errori di Google mi riporta circa 2.200 errori 500 ed altrettanti errori 404.
Ho scoperto che la colpa è che le pagine che vanno in errore sono tutte collegate a menu che non esistono più perché sono stati cancellati o sono "non pubblicati".


Io vorrei dire a Google che quelle pagine non le deve considerare...ma capite bene che trattandosi di migliaia di URL non posso indicarglieli uno per uno.


Con XMap ho ricreato una nuova sitempa ma non ha risolto niente...anci gli errori continuano ad aumentare di giorno in giorno.


Esiste un'estensione o un modo per risolvere la questione?


La situazione è piuttosto grave perché il sito faceva anche 8000 visite al giorno e ora è calato drasticamente (anche sotto le 1000) per via di questi errori.


Sapreste aiutarmi?

[ZioPal]

Ciao Mirkocaccia,
la soluzione è più semplice di quello che sembra anche se potrebbe risultare noiosa a farla bene.

La prima cosa che devi fare è inibire l'accesso al menù attraverso il file robots.txt. Suppongo gli errori siano del tipo www sito iit/menuchenonesistepiu/pagina.html, è sufficente che ne robots.txt specifichi

Disallow: /menuchenonesistepiu/

In questo modo il motore di ricerca capisce che non deve considerare i vecchi menù.

Fatto questo puoi anche dire a google "segna come corretto" entrando ne dettaglio dell'URL

Per fare il lavoro fatto bene dovresti chiedere a Google di rimuovere l'URL dal suo indice da Indice Google > Rimuovere URL

In ultimo continui a tenere sottocontrollo gli errori che eventualmente torneranno, perché questo significa che c'è qualche link che li "mantiene vivi", quindi bisognerà intervenire sulle pagine che portano i link.

Maurizio ZioPal

[MirkoCaccia]

Grazie ZioPal


in effetti ci sono molti URL che vanno in errore che usano la sintassi che dici tu.


Però ce ne sono moltissimi che usano una sintassi non friendly.
Ad esempio la seguente pagina:
http://www.tusciafisco.it/index.php?option=com_content&view=category&layout=blog&id=456&Itemid=870&limitstart=50


In realtà se apri questo indirizzo non viene un errore però google me la segna come pagina che contiene link errati. In effetti se analizzi il codice sorgente di questa pagina noterai che nel tag head ci sono i seguenti link che vanno in errore:


/component/content/456.feed?layout=blog&type=rss


/component/content/456.feed?layout=blog&type=atom


e anche in basso, nel menu di navigazione delle pagine, vengono creati dei link sbagliati tipo questo:


/component/content/456.html?layout=blog


Analizzando il core di Joomla ho capito che questi link errati vengono creati perché nel db non viene trovato l'Itemid 870 riportato nella querystring  del primo link.
Quell' itemid era associato ad un menu che non esiste più, ma google ha ancora questi url memorizzati da qualche parte.


Sono migliaia i gli errori di questo tipo.


Aiuti in merito?
Grazie in anticipo

[ZioPal]

Ciao MirkoCaccia,
come ti dicevo se individui una matrice comune puoi inibirne l'indicizzazione abbastanza facilmente attraverso il robots.txt. Devi solo prestare attenzione e non inibire anche contenuti "buoni".

Se sei sicuro che la voce di menù non è più attiva, prima o poi google ne perderà traccia, se vuoi accellerare i tempi chiedi la rimozione manuale, ma accertai prima che quei contenuti e quel menù non vengano richiamati da qualche link (magari esterno), perchè potrebbe invalidare tutto.

Maurizio ZioPal

[MirkoCaccia]

Si, in effetti avevo intenzione di inibire l'accesso alle pagine che cominciano con "component/content" però così farei danni perché ci sono degli URL funzionanti che verrebbero coinvolti nell'esclusione.


La cosa che mi servirebbe, ma che non trovo negli strumenti di Google, è bloccare, con un'unica azione, tutti gli url che vanno in errore.


Google mi da la possibilita di rimuovere degli url dai suoi indici...però me ne fa fare uno alla volta.
non c'è un modo per rimuoverli tutti insieme?


Farebbe comodo un pulsante sotto la lista dei link sbagliati....tipo un "rimuovi tutti gli url dagli indici"

[ZioPal]

purtroppo non c'è e la rimozione va fatta singolarmente, noioso ma attualmente è l'unico modo.

Maurizio ZioPal