(Risolto) Aiuto file robots.txt

[Miri]

Ciao.
Sto facendo una panoramica del mio sito con il ''Strumenti per Webmaster'' di google.
Vedo infatti che ho tantissimi errori;


Meta descrizioni duplicate
(con url in genere così)

• /component/content/...
• ....html?font-size=larger
• ....html?font-size=smaller
• ....html?reset-settings
• /index.php?option=com_content&view...

Tag title mancanti
(con url in genere così)

• ....html?tmpl=component&type=raw‎
• ....html?tmpl=component&type=raw&start=5
• ....html?tmpl=component&type=raw&limitstart=0‎

Tag title duplicati
(con url in genere così)

• ....html?font-size=larger
• ....html?start=4

Ovviamente, prima di chiedere qui ho fatto delle ricerche, le quali consigliano di modificare il file robots.txt aggiungendo;

• Disallow: /component/

• Disallow: /*?

• Disallow: /?

E' da una settimana che l' ho modificato e in maniera frequente viene scaricato da google, però gli errori sono tuttora presenti.

Chiedo per favore se i comandi aggiunti nel file robots sono corretti per evitare la scansione di tali url, e come posso risolvere questi errori.

Grazie mille

[mau_develop]

prova a leggere bene le guide che ci sono su quelle pagine, non basta entrare e compilare due campi, ottimizzare un sito, le maps e come viene visto dai motori è un lavoro lungo e delicato e soprattutto va fatto sapendo cosa si fa e perchè.
Nelle pagine di google webmaster hanno fatto ampi tutorial su come usare al meglio gli strumenti a disposizione.

M.

[Miri]

Quindi questa sarebbe la risposta?
Grazie lo stesso!

[ZioPal]

Ciao Miri se posso permettermi,
chi ti risponde in un forum cerca di aiutarti a trovare una soluzione e lo fa in maniera del tutto gratuita, non è tenuto a cercare la soluzione per te, fai bene a ringraziare comunque.

Rispondere alla tua domanda è davvero difficile, se non hai toccato tu il file robots in precedenza la soluzione non è certo li, probabilmente hai installato qualche componente che duplica le pagine magari per effetto della paginazione.

Maurizio ZioPal

[mau_develop]

Quindi questa sarebbe la risposta?
-----------------------------------------------
...lascia perdere di toccare quel file, hai troppa supponenza per imparare qualcosa e purtroppo per toccare quel file serve leggere e ragionare, non basta dire fai così fai cosà....non tutto funziona come l'interruttore della luce.

M.

[Miri]

Prima di tutto mi scuso perchè non è stata una mia intenzione ad offendere nessuno.
E stato una risposta del tutto naturale (purtroppo interpretata diversamente) poiché ho sempre trovato supporto e gentilezza.

[mau_develop]

..non è questione di offernrsi... perchè dovrei offendermi, semplicemente lascio perdere...

se al tuo post era possibile rispondere con un fai così l'avrei fatto ti pare?
Siccome non serve una laurea per capire cosa fa e cosa non fa quel file ti ho suggerito di impararlo dove lo spiegano e abbastanza approfonditamente... ma vedo che ha fatto un articolo anche zio pal.

cmq quel file come sitemap sono files di "cortesia", facilitano il lavoro ai motori che sono liberi di usarlo o meno e fare ugualmente la scansione a ciò che tu vuoi vietare..

M.

[Miri]

Ciao
Quindi non devo modificare il file robots.txt e cercare altrove il problema?

[ZioPal]

Ciao Miri,
per me il file robots non centra nulla, le URL sono dinamiche e probabilmente sono generate da un componente, qual'è il sito?

Maurizio ZioPal

[Miri]

Allora vedo se riesco a cercare altre soluzioni. Ed appena risolvo ritorno a postare sul forum come risolto.
Grazie delle risposte

[Miri]

Ciao
Uno dei problemi che ho notato è che google riesce a vedere anche questi tipi di link (articoli non collegati a nessun menù);
http://www.programekompjuteri.com/index.php?option=com_content&view=article&id=93:screen-saver-3d-film-animacion&catid=35:keshilla-dhe-hile&Itemid=107


Dove lo stesso articolo è già presente ed associato al suo menu in questo indirizzo.


http://www.programekompjuteri.com/audio/programe-per-radio/93-winyl-program-per-te-degjuar-radio-ne-internet.html

pur avendo attiva la funzione, Riscrittura Url di Joomla. (forse è passato a scansionare il sito prima dell' attivazione)

http://img820.imageshack.us/img820/8823/seot.png
http://img214.imageshack.us/img214/6677/linkmenu.png


Questi tipi di url si possono bloccare dal robots.txt?
Grazie

[Miri]

Rieccomi.
Non ho scoperto l' acqua calda ma ci sono andato vicino


Aveva ragione mau_develop, negli Strumenti per webmaster di Google è spiegato molto bene come impostare al meglio il nostro file robots.txt in particolare qui dove dice che;

Per bloccare l'accesso a tutti gli URL che comprendono un punto interrogativo (?) (più precisamente, qualsiasi URL che inizia con il tuo nome di dominio, seguito da una qualsiasi stringa, seguita da un punto interrogativo, seguito da una qualsiasi stringa):

User-agent: Googlebot Disallow: /*?

Grazie e mau_develop e ZioPal di essere intervenuti nel mio tema.

[ZioPal]

Grande Miri,
essere tornato a postare la soluzione ti fa onore.

La soluzione la l'avevi ventilata tu stesso nel post di apertura e devo dire che personalmente non avevo capito che il tuo problema fosse legato alle sole URL con il ?.
Maurizio ZioPal

[Miri]

Si ma preparati perchè non è finita qui , dobbiamo trovare perchè ho gli url duplicati, e per questo aprirò un nuovo tema.
Ciao

[ZioPal]

 

[debby]

Ciao,
anche io sto riscontrando alcuni problemi di indicizzazione.
Ora ho provato ad eseguire quello che avete detto e che ho letto sulle guide di Google.
Anche io ho creato con xmap la sitemap e inviata a google.
Però non l'ho inserita sul file robots perchè non so come scriverla.
Ciò che appunto ho inviato a google è il mega indirizzo generato da xmap che sinceramente nel file robots non saprei come scriverlo....
Se qualcuno lo sa e mi può dare un aiuto sarei contenta.
Grazie comunque
Debora

[ZioPal]

Caio debby,
devi inserire una stringa tipo questa:

Sitemap: http://www.tuosito.it/index.php?option=com_xmap&sitemap=1&view=xml

In sostanza devi inserire sitemap: prima di dare l'URL della tua mappa.

Maurizio ZioPal

[debby]

Ma stamani avevo fatto cosi ma google mi diceva che tale linguaggio era incomprensibile cosi l'ho tolta subito la sitemap...