Ciao Andrea2002 e grazie per i complimenti.
Ho scritto un articolo intero sul robots.txt per la comunità "
Robots.txt. Cosa c'è da sapere per un sito in Joomla! " anche se neanche in questo ho specificato come gestire il Disallow: /*?* lo faccio ora.
Attraverso questa riga dico ai vari motori di ricerca di non considerare tutte le URL che comprendono al loro interno il carattere ? (punto interrogativo), come hai giustamente notato in joomla sono molte.
Puoi aggingerla tranquillamente, devi però fare attenzione che questa non inibisca anche l'accesso a pagine non gestite da componenti SEF, un caso su tutti è la sitemap, se usi
xmap come molti, la URL che Google dovrebbe leggere contiene il ? e quindi dopo la modifica al file robots.txt smetterà di leggere questa informazione.
Puoi ovviare abbastanza facilmente, in questo caso, perché della sitemap puoi fornire l'informazione direttamente dal file robots.txt (nell'articolo che ti ho segnalato ci sono i riferimenti), ma stai attento perché potrebbero esserci altre situazioni simili.
Inoltre Google dice che quelle del robots.txt sono indicazioni di cui tiene conto pur non considerandole vincolanti, come dire faccio come mi pare, in generale vengono rispettate.
Domandati anche se non valga la pena implementare il
rel canonical che serve per gestire proprio queste cose.
Maurizio ZioPal
