[RISOLTO]ottimizzazione file robot.txt

[claudiodex61]

Buongiorno a tutti, non so se è capitato gia a qualcuno di aver ricevuto un messaggio da google che il proprio sito non risponde ai requisiti per i dispositivi mobili. ebbene il sito in questione per il quale ho ricevuto tale messaggio è perfettamente responsive e sui cellulari si trasforma come deve. il problema è che quando attivo la funzione "come vede google il tuo sito" lui praticamente lo vede diversamente non avendo accesso ai file del template chè è bloccato nel robot.txt come lo è per tutti di default.
ora se io togliessi il blocco della cartella template dal robot.txt mi troverei ad indicizzare titti i file dei vari template sia di amministrazione che del sito e non mi sembra il caso. Qualcuno sa come potrei regolarmi per far leggere ai robot solo parte del contenuto di una cartella e non tutta intera? oppure se ci fosse qualche altro stratagemma?
Grazie

[giovi]

lui praticamente lo vede diversamente non avendo accesso ai file del template chè è bloccato nel robot.txt

Sicuro che sia questo il problema?

[tonicopi]

ora se io togliessi il blocco della cartella template dal robot.txt mi troverei ad indicizzare titti i file dei vari template sia di amministrazione che del sito e non mi sembra il caso. Qualcuno sa come potrei regolarmi per far leggere ai robot solo parte del contenuto di una cartella e non tutta intera?

Non è come dici. Se togli il blocco dalla cartella templates cosa c'entrano i templates amministrativi?
Togli pure il blocco alla cartella templates e media se questo risolve il problema di lettura di googlebot 

[maicolstaip]

Mi pare che google non abbia bisogno di "vedere" il tuo sito come un essere umano.
Non serve abilitare template sul robots.txt.
E' uno spider, legge i contenuti...

Ciao!

[claudiodex61]

Mi pare che google non abbia bisogno di "vedere" il tuo sito come un essere umano.[/size]Non serve abilitare template sul robots.txt.E' uno spider, legge i contenuti...
---------------------------
da aprile google fa una scansione automatizzata di tutti i siti e penalizza quelli che non rispondono ai requisiti di visualizzazione ottimale sui cellulari. Se vai sugli strumenti webmaster dopo aver iscritto il sito google ti mette a disposizione uno strumento in cui puoi constatare come vede il tuo sito il suo spider e come lo vedono gli utenti con i normali browser. il problema sta nel fatto che i css che disegnano le pagine stanno nel template e se la cartella template viene "bloccata" nel file robot.txt lo spider non leggendo i css visualizza male le pagine e il rapporto risultati dice specificatamente quali files lo spider non riesce a leggere invitandoti di modificare il file robot. questo è quanto almeno mi è parso di capire poi puo darsi anche che mi sbaglio.[/size]

[giovi]

il problema sta nel fatto che i css che disegnano le pagine stanno nel template e se la cartella template viene "bloccata" nel file robot.txt lo spider non leggendo i css visualizza male le pagine e il rapporto risultati dice specificatamente quali files lo spider non riesce a leggere invitandoti di modificare il file robot.

Torno a ripetere: sei sicuro che sia questo il problema? Se te lo dice google che il sito non è "validabile" per quel motivo è un conto, ma non mi sembra di aver dovuto mai modificare il robot.txt di joomla per renderlo appetibile a google. Cercherei quindi la causa altrove

[claudiodex61]

ecco cosa dice google:
"Impossibile per Googlebot recuperare tutte le risorse per questa pagina. Di seguito viene riportato un elenco"
e qui c'è l'elenco dei file che non riesce a trovare e poi alla fine dell'elenco: "tester dei file robot.txt"
altro messaggio di google:
"Affinché l'indicizzazione dei tuoi contenuti sia ottima, assicurati che Googlebot possa accedere a tutte le risorse incorporate che contribuiscono in modo significativo ai contenuti visibili del tuo sito oppure al suo layout."
questo è quanto.. non voglio avere ragione per forza sto solo cercando di capire magari potrebbe essere una cosa utile per tutti vista l'importanza dell'indicizzazione

[maicolstaip]

Ti faccio un esempio:
tu fai una cartella a cui accede solo chi ha una password
metti il disallow nel robots.txt

Quando fai quel test, google ti dice che non può accedere a quella cartella!!!
Ovvio, lo hai deciso tu.

A quel punto google ti dice di cambiare il robots.txt per accedervi.

Basta,
Non vuol dire che devi dargli l'accesso, vuol dire che ti avverte che non può accedervi

Ciao!

[tonicopi]

Non capisco perchè stiamo sprecando tutti questi byte, con sto caldo poi... 
Claudio, vuoi provare a togliere il blocco di quella dannata cartella templates nel robots.txt o no?
E dopo averlo tolto vuoi rifare il test sulla responsività e comunicarci l'esito?

[claudiodex61]

allora aggiorno chi sta seguendo questo post: ho tolto il blocco alle cartelle template cache e media e ora il sito ha superato il test. comunque la cosa strana è che io ho almeno una 15na di siti e questo messaggio da google l'ho ricevuto solo per due di essi gli altri nessun problema rilevato nonostante i file robot siano tutti quelli di default di joomla.. bah ci ci capisce è bravo

[maxzilla]

Scusate l'intrusione, ma sono molto interessato all'argomento.
Effettivamente dalla documentazione di google si trova scritto diverse volte di non impedire l'accesso ai files css e javascript, come se googlebot dovesse cercare ( questo lo immagino io perche' non trovo nulla di documentato in rete) delle info , per esempio @media per stabilire la natura di un sito.
Ad ogni modo questo non spiega, come dice claudiodex61, la differenza di valutazione tra i suoi vari siti.

[claudiodex61]

finalmente uno che non mi prende per matto 
il punto è semplicemente questo: come gia accennato prima da qualche mese google penalizza tutti i siti non ottimizzati ed è ovvio che non c'è un omino che si va a guardare tutti i siti della rete per vedere come si vedono con gli smartphone ma lancia uno spider che testa i siti. Se noi blocchiamo lo spider impedendogli di leggere tutto cio che contribuisce a disegnare il nostro sito in maniera corretta con i media di piccole dimensioni, lui lo penalizza. Infatti facendo la scansione che mette a disposizione negli strumenti per webmaster, qualora non riesce a leggere alcuni di questi elementi, si apre una finestra con due simulazioni: in una "come lo vede google" in un'altra "come lo vede il visitatore". Nella prima si vede tutto sfasato perche script e css non sono caricati, nella seconda la visualizzazione è corretta. Siccome in rete neanche io ho trovato nulla che parli di queste problematiche e credo che sia argomento di interesse di tutti noi, ho pensato creare questo post nel quale magari persone sicuramente più esperte di me che sanno dove mettere le mani possano aiutare tutti. Peraltro se uno fa un sito e non lo iscrive ad analitics potrebbe avere questo problema senza neanche saperlo trovandosi penalizzato nelle ricerche dei suoi potenziali visitatori.

[tonicopi]

Ok tutto perfetto. Dove sta il problema?

[tonicopi]

La cosa è nota fin dalla versione 3.4.0
http://forum.joomla.org/viewtopic.php?f=710&t=874627
 

[claudiodex61]

Nessun problema è tutto a posto, a parte aver ricevuto risposte del tipo "joomla va istallato su linux oppure ciccia"
uno posta un argomento pensando di contribuire a risolvere un problema che non è solo mio ma puo essere anche utile per altri, questo dovrebbe essere lo spirito di un forum e non quello di ricevere risposte acide. Comunque ringrazio e saluto tutti lo stesso
Claudio

[maxzilla]

Bene, anche la conferma.
Grazie cludiodex, ho imparato una cosa nuova 


...guarda che "joomla va installato su linux..." e' una firma, non una risposta 

[maicolstaip]

mah 

[claudiodex61]

si mi sono accorto che era una firma    l'ho notato dopo.. vabbe deve essere l'età.. non ci fate caso.. un po di arterioscelosi non si nega a nessuno al giorno d'oggi

[tonicopi]

Ah ha ha ha
Metti risolto nel primo post per favore?
Poveretto c'è rimasto male maicolstaip che è persona gentilissima e si è sentito trattare da acida zitella inglese 

[tonicopi]

Metti risolto nel primo post per favore?

Ah ecco avevi già fatto.... Bene!