Autore Topic: GoogleBot non riesce ad accedere ai file CSS e JS su ...  (Letto 3747 volte)

Offline frascan

  • Global Moderator
  • Instancabile
  • ********
  • Post: 4988
  • Sesso: Maschio
    • Mostra profilo
Come modificare il file robots.txt in modo tale da risolvere i problemi legati all'accesso di Googlebot ai files CSS e/o JS

Link all'articolo: http://www.joomla.it/e-ancora/articoli-community-3x/7879-googlebot-non-riesce-ad-accedere-ai-file-css-e-js-su.html
« Ultima modifica: 14 Ago 2015, 08:58:11 da alexred »
Per la natura stessa delle cose un esploratore non può mai sapere che cosa stia esplorando finché l’esplorazione non sia stata compiuta.

Offline Fabio Fusano

  • Nuovo arrivato
  • *
  • Post: 6
    • Mostra profilo
Re:GoogleBot non riesce ad accedere ai file CSS e JS su ...
« Risposta #1 il: 14 Ago 2015, 14:09:18 »
Ciao Frascan,
l'articolo che hai scritto è davvero molto utile e credo servirà ai molti che hanno ricevuto l'ammonimento di Google.
Pur non essendo fra questi, ho però dovuto affrontare la questione delle pagine mal visualizzate dal bot di Google già qualche mese fa.
Infatti facendo un pò di manutenzioni e verifiche sul sito del mio studio attraverso la Search Console, mi ero accorto che le pagine venivano visualizzate in modo anomalo. E ciò dipendeva effettivamente dal fatto che parecchi css e js non potevano essere scansionati da Googlebot a causa del blocco da parte del robots.txt.
Navigando un pò per cercare una soluzione, ho tentato diversi dei metodi che vari SEO suggerivano, fra cui quello dell'aggiunta delle due stringhe che hai indicato anche tu.
In realtà, però, esse risolvono il problema solo parzialmente.
Poi, leggendo su G+ un post sull'argomento di Danilo Petrozzi, è arrivata la soluzione definitiva.
Infatti, praticamente tutti i più diffusi CMS (compreso Joomla!), appendono dei parametri GET alle versioni minificate di .css e .js.
Per cui, usando solo le stringhe che hai suggerito tu, Googlebot continuerebbe a non vedere quelle risorse.
Quelle ccorrette sono le seguenti:

Allow: *.js$
Allow: *.css$
Allow: *.js?*$
Allow: *.css?*$

Questo permette a Googlebot di scansionare anche file del tipo: miosito.it/default.css?qualcosa=qualcosa

Ti assicuro che funzionano perchè, una volta inseritele nel mio robots.txt, tutto è tornato alla normalità.

« Ultima modifica: 14 Ago 2015, 14:11:47 da Fabio Fusano »

Offline frascan

  • Global Moderator
  • Instancabile
  • ********
  • Post: 4988
  • Sesso: Maschio
    • Mostra profilo
Re:GoogleBot non riesce ad accedere ai file CSS e JS su ...
« Risposta #2 il: 14 Ago 2015, 15:19:32 »
Ciao Fabio,
ti ringrazio per la precisazione che giunge a fagiuolo come si suol dire. Infatti ne avevamo parlato su G+ mentre stavo preparando l'articolo: https://plus.google.com/+Joomlait/posts/2GkzxQtAJ56

Io avevo testato e suggerito:
Allow: *.js$
Allow: *.css$

Ma come puoi vedere non risolveva tutti i casi. Quella che suggerisci è più completa infatti. Mi potresti indicare il post in cui Danilo ne parla?

Grazie mille :)
Per la natura stessa delle cose un esploratore non può mai sapere che cosa stia esplorando finché l’esplorazione non sia stata compiuta.

Offline Fabio Fusano

  • Nuovo arrivato
  • *
  • Post: 6
    • Mostra profilo
Re:GoogleBot non riesce ad accedere ai file CSS e JS su ...
« Risposta #3 il: 14 Ago 2015, 15:31:26 »
Se non erro non era un vero e proprio post, ma una delle sue videoguide.
Purtroppo ora non ho molto tempo per andarla a ritrovare, ma se vai sul suo profilo G+ dovresti poterla ritrovare senza problemi.
In compenso ho recuperato un suo commento recente fatto sul Blog del Tagliaerbe dove scrive esattamente la stessa cosa.
Ecco il link: http://blog.tagliaerbe.com/2015/08/robots-txt-google.html
Spero ti sia utile.
Buon ferragosto!

Offline frascan

  • Global Moderator
  • Instancabile
  • ********
  • Post: 4988
  • Sesso: Maschio
    • Mostra profilo
Re:GoogleBot non riesce ad accedere ai file CSS e JS su ...
« Risposta #4 il: 14 Ago 2015, 15:37:04 »
Grazie e buon ferragosto a te :)
Per la natura stessa delle cose un esploratore non può mai sapere che cosa stia esplorando finché l’esplorazione non sia stata compiuta.

Offline Fabio Fusano

  • Nuovo arrivato
  • *
  • Post: 6
    • Mostra profilo
Re:GoogleBot non riesce ad accedere ai file CSS e JS su ...
« Risposta #5 il: 14 Ago 2015, 15:39:21 »
Ho linkato sulla discussione g+ che mi hai indicato questo topic, sperando che torni utile a tutti.


Offline ventus85

  • Global Moderator
  • Instancabile
  • ********
  • Post: 6535
  • Sesso: Femmina
  • Affetta da Joomlaite
    • Mostra profilo
Re:GoogleBot non riesce ad accedere ai file CSS e JS su ...
« Risposta #6 il: 18 Ago 2015, 10:10:47 »
Grazie per il link, lo giro subito a un amico che aveva dei dubbi su questo argomento...
Se volete aiuto non mandate messaggi privati, ma usate la funzione Cerca e postate sul forum, grazie!

Born in the wind, born to be wild!

Offline Fabio Fusano

  • Nuovo arrivato
  • *
  • Post: 6
    • Mostra profilo
Re:GoogleBot non riesce ad accedere ai file CSS e JS su ...
« Risposta #7 il: 18 Ago 2015, 10:15:17 »
E di che! Se non ci si aiuta fra di noi che professionisti saremmo? ;)

Offline Ago_

  • Abituale
  • ****
  • Post: 823
  • Sesso: Maschio
    • Mostra profilo
Re:GoogleBot non riesce ad accedere ai file CSS e JS su ...
« Risposta #8 il: 12 Ott 2015, 09:14:09 »

Allow: *.js$
Allow: *.css$
Allow: *.js?*$
Allow: *.css?*$


tra queste stringhe allow e le "Disallow: /plugins/" chi ha la precedenza ??? per capirci meglio, googlebot mi blocca un js della cartella plugin, vorrei capire se le stringhe specifiche sopra citate attivano la scansione anche nelle cartelle disattivate o no ??? grazie

Offline Fabio Fusano

  • Nuovo arrivato
  • *
  • Post: 6
    • Mostra profilo
Re:GoogleBot non riesce ad accedere ai file CSS e JS su ...
« Risposta #9 il: 12 Ott 2015, 10:54:19 »
Ciao Ago_,
la questione delle precedenze nei comandi impartiti ai bot nei robots.txt va avanti da anni e sembra che nessuno ancora sia stato in grado di dare una risposta definitiva.
Sembra quasi più facile scoprire quali sono i fattori alla base degli algoritmi Penguin e Panda ;D ...
Scherzi a parte,ti consiglio di dare un'occhiata a questo link: https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt?hl=it#ordine-di-precedenza-degli-user-agent
dove puoi trovare le linee guida di Google in merito.
In sintesi, Google non tiene in considerazione l'ordine con cui sono impartite le direttive, ma la loro specificità, senza tenere conto dei caratteri jolly (capirai meglio quello che ho scritto leggendo gli esempi riportati nel su citato link)
Sulla base di questo, per script o css contenuti nella cartella /plugins/, sembrerebbe efficace aggiungere al robots.txt queste righe:

Allow: /plugins/*.js$
Allow: /plugins/*.css$
Allow: /plugins/*.js?*$
Allow: /plugins/*.css?*$


Guarda caso, dato che anche io ho avuto il tuo problema su alcuni script e css, giusto stamattina sto facendo delle prove in merito sul mio robots.txt. E dal tester di Google Search Console pare che sia la soluzione corretta.
[/size]Spero do esserti stato utile.

Offline Ago_

  • Abituale
  • ****
  • Post: 823
  • Sesso: Maschio
    • Mostra profilo
Re:GoogleBot non riesce ad accedere ai file CSS e JS su ...
« Risposta #10 il: 12 Ott 2015, 11:44:02 »
grazie dell'ampia risposta, ho aggiunto anch'io i dati nel robots da te consigliati e aspettimo adesso google...

il problema è che se controllo se il js è raggiungere GTW mi da l'ok e mi segnala in verde la riga precedente che autorizzava i js, quindi teoricamente non dovrebbe avere problemi...ma dopo una settimana mi da quell'indirizzo ancora tra le pagine bloccato (update al 10-10)

 

Host

Torna su