Robots.txt. Cosa c'è da sapere per un sito in Joomla!

[ZioPal]

Tutti noi vogliamo il massimo della visibilità sui motori di ricerca per i nostri siti web, ma l'attività SEO spesso è complicata e ricca di sfaccettature in continua evoluzione, per questo dopo aver scritto l'articolo "Il posizionamento sui motori di ricerca di un sito in Joomla!" mi ero ripromesso di fare una serie di ulteriori articoli di approfondimento che possano aiutare a scendere nella specifica attività SEO del tuo sito in Joomla! Ho deciso di partire da una delle cose più semplici ma forse un po' troppo sottovalutata il file robots.txt.
Maurizio ZioPal

Link all'articolo: http://www.joomla.it/articoli-community-16-e-17-tab/5503-come-impostare-il-file-robotstxt-in-joomla.html

[56francesco]

.... anche ispirato da un topic nel forum abbanstanza hot, direi..
 

[ZioPal]

, non c'è nessun riferimento avevo cominciato a scrivere a fine aprile.

Maurizio

[andrea2002]

Ho trovato interessante l'articolo; ma non dice chiaramente una cosa: usando il file robots.txt posso risolvere l'annoso problema delle URL duplicate che affligge Joomla 1.5?
Grazie
Ciao
Andrea

[56francesco]

no, non esiste proprio che quel file dia soddisfazione al tuo pio desiderio, devi modificare il tuo desiderio in base al contesto che ti ritrovi a cominciare dal server, come ti è stato detto dall'altra parte.

[andrea2002]

Grazie per la risposta, ma non capisco da quale altra parte tu faccia riferimento, dato che è la prima volta che posto su questo argomento.

Avevo trovato qualcosa qui:
http://www.joomlaitalia.com/lab/129-google

che avvalorava le mie speranze. Che ne pensi?
Grazie ancora.
Ciao
Andrea

[ZioPal]

Ciao Andrea2002,
il file robots.txt non ti può aiutare a "rimuovere" le URL duplicate, se mai "contenerle".

L'articolo che suggerisci è interessante e me lo sono segnato . In realtà ti dice quello che ti ho detto anch'io puoi inibire l'indicizzazione di alcune pagine specifiche del tuo sito inserendole nel file robots con la sintassi Disallow, ma è come estirpare le erbacce a mano.

Il prossimo articolo lo faccio sul rel="canonical" che serve proprio a questo e mi pare ci sia necessità.

Maurizio ZioPal

[andrea2002]

Ti ringrazio per la cortese risposta!
Quando pensi che avverrà il parto? E' questione di giorni o di settimane?
Grazie mille ancora.
Ciao
Andrea

[ZioPal]

Non so, presto comincio a lavorarci il problema è che sono un pignolo dle cavolo.

[andrea2002]

Bene, non mi rimane che attendere fiducioso!
Grazie
Ciao
Andrea

[niko_lg]

Non mi è chiaro una cosa riguardo al link della sitemap:


nell'articolo c'è scritto di inserire nel file robots:

Sitemap: http://www.nomesito.ext/sitemap.xml

Anch'io uso Xmap e non ho capito se il link va inserito come quello indicato, o il link generato da Xmap, cioé:

Sitemap: http://www.nomesito.ext/index.php?option=com_xmap&view=xml&tmpl=component&id=1

Grazie

[ZioPal]

Ciao niko_lg,
devi inserire la posizione della tua site map, il mio è un esempio.

Maurizio ZioPal

[niko_lg]

Grazie Maurizio per la celere risposta!
Questo l'ho avevo capito , ciò che non mi è chiaro e se devo inserire il link preso da browser:


Sitemap: http://www.miosito.it/sitemap.xml


oppure quello che mi genera nel backend il componente Xmap:


Sitemap: http://www.miosito.it/index.php?option=com_xmap&view=xml&tmpl=component&id=1

[ZioPal]

Perdonami non ti ho capito io

XML Sitemap che ti suggerisce il componente .

[niko_lg]

Ok
Grazie mille!

[caps]

l'indicazione della sitemap deve essere indicata in maniera assoluta?
cioè, io ho in root il file sitemap.xml


nel robots.txt inserisco:


Sitemap: http://www.miosito.ext/sitemap.xml


oppure posso inserire:


Sitemap: /sitemap.xml


Grazie

[mau_develop]

le altre definizioni come sono scritte?

M.

[caps]

appunto ... le indicazioni per


Disallow: /cartella


perchè non usarle anche per la sitemap? ma tutti gli esempi che si trovano in giro riportano l'indirizzo assoluto ...
ma spulciando (o forse meglio "curiosando" sui siti altrui) ho trovato anche sempliemente


Sitemap: /sitemap.xml


ecco il perchè della mia domanda 

[ZioPal]

Caio caps,
io l'ho sempre messa con  URL assoluta. 

Maurizio ZioPal

[caps]

grazie.
Un paio di post (in lingua inglese) dicono di usare link assoluti.

[mau_develop]

non c'è la simulazione tra gli strumenti webmaster?

M.

[ZioPal]

Si Mau, ti dovrebbe avvertire se non è riuscito a leggere correttamente la mappa inserita nel robots.txt.

Maurizio ZioPal

[mau_develop]

quindi... se piace a lui si può scrivere anche in aramaico o no?

M

[ZioPal]

of course

[caps]

inserito il file robots.txt in due siti ... uno assoluto ed uno relativo ...


Vi informo appena google ci fa un giretto!

[caps]

brutte notizie ... con URL relativa "Rilevato URL di Sitemap non valido; sintassi non comprensibile"
 

[ZioPal]

Ciao caps,
l'URL assoluta funziona, che motivo hai di metterla relativa?

Maurizio ZioPal

[caps]

... economia ...   

[ZioPal]

LOL