Googlebot non riesce ad accedere ai file CSS e JS su ....

[mygink]

Ciao, ho appena ricevuto questo avviso da Google Search Console Team, ho già letto un post recente su questo argomento, quindi non vorrei annoiare nessuno, ma nel mio caso viene scritto esplicitamente che Googlebot vorrebbe accedere ai miei file CSS e Js per assicurarsi che il sito funzioni correttamente:

... Googlebot non può accedere ai tuoi file JavaScript e/o CSS a causa delle limitazioni del tuo file robots.txt. Questi file aiutano Google a comprendere se il tuo sito web funziona correttamente, pertanto bloccare l'accesso a questi asset può causare ranking inferiori a quelli ottimali.

Secondo voi cosa dovrei fare? Il test "Visualizza come Google" è passato, anche se parzialmente come mobile. Se tolgo il disallow a /templates/ nel robots c'è qualche possibile implicazione negativa?

[giusebos]

non fare niente, oggi c'è qualcosa che non funziona: di questi messaggio ne sto ricevendo a quintali.

[mygink]

OK, grazie per la risposta giusebos!

[tonicopi]

Secondo me vuole accedere alle cartelle templates e media. Io da un po' cancello quelle due cartelle dal robot.txt oltre alla cartella images che tolgo già da quando lo consigliò Teeman in un lontano joomladay. Non ci vedo nulla di male.
Anche a me stanno arrivando diversi di quelle email ma tutte di siti dove in effetti non accede alla cartella templates...

[Alex21]

Ho ricevuto anche io lo stesso messaggio.
A questo punto, opportunamente stimolato dal messaggio, sono andato a vedere il file robots.txt e il sorgente del sito.


Questo è il robots.txt.

# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html


User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/


Nel sorgente c'è invece questo altro:

<link rel="stylesheet" href="/templates/gantry/css-compiled/menu-866aa62ff6c16fcab414a76f625ee345.css" type="text/css" />
  <link rel="stylesheet" href="/libraries/gantry/css/grid-responsive.css" type="text/css" />
  <link rel="stylesheet" href="/templates/gantry/css-compiled/bootstrap.css" type="text/css" />
  <link rel="stylesheet" href="/templates/gantry/css-compiled/master-53f95a45aa1d40970d8d57ed4b5a8aec.css" type="text/css" />
  <link rel="stylesheet" href="/templates/gantry/css-compiled/960fixed.css" type="text/css" />
  <link rel="stylesheet" href="/templates/gantry/css/gantry-custom.css" type="text/css" />
  <link rel="stylesheet" href="http://exemple.it/modules/mod_domussearch/assets/mod_domussearch.css" type="text/css" />
 

Insomma, va a caricare i file anche il cartelle escluse ai crewlers.


Ho modificato in questo modo robots.txt

# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html


User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
# Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
# Disallow: /libraries/
Disallow: /logs/
# Disallow: /media/
# Disallow: /modules/
Disallow: /plugins/
# Disallow: /templates/
Disallow: /tmp/


Ora gli strumenti di google dicono che riescono a vedere bene.
Spero di non aver fatto nessun pasticcio con joomla.


un salutone!
Alex

[mygink]

@tonicopi se lo consiglia anche Teeman direi che potrei considerare di prender l'abitudine di rimuovere il disallow dalle cartelle media e templates, grazie!


@Alex21 "aprire" così tanto a googlebot? Sicuro non sia un po' un pasticcio?

[giusebos]

stessa cosa con siti realizzati con prestashop e wordpress......

[alexred]

In queste ore sono partite molte mail da parte di Google ai gestori di siti con Joomla dove viene indicato che il Googlebot non riesce ad accedere ai file CSS e JS.
Nella cartella principale che contiene il sito Joomla è presente il file robots.txt  ed in questo file sono presenti le istruzioni che impediscono al Googlebot ed ai bot degli altri motori di ricerca di accedere a determinate cartelle.
La presenza in questo file di istruzioni come:
Disallow: /images/
Disallow: /media/
Disallow: /templates/

impedisce a google di accedere ai CSS e JS del template del sito e non può capire così l'effettivo funzionamento della grafica del sito per dispositivi mobili ecc...
Inoltre anche le cartelle /libraries/ e /modules/ spesso contengono CSS e JS ed anche /components/  e /plugins/
ma è bene fare le relative verifiche ed abilitare solo lo stretto necessario

Da "Search Console" (strumenti per webmaster) puoi fare una veloce verifica per ogni sito e capire quali sono i file a cui Google non riesce ad accedere ed individuare così quali istruzioni Disallow eventualmente eliminare dal tuo file robots.txt
Vai su "Visualizza come Google" poi lancia "Recupera e visualizza"

Google vuole capire come si visualizzano effettivamente le pagine del sito su tutti i vari dispositivi e per fare questo ha bisogno di avere accesso anche ai file CSS e JS.
Sappiamo bene che Google deve verificare se il sito è effettivamente "responsive" per premiarlo o bocciarlo sui risultati nelle ricerche, oppure per indicare già nelle ricerche se il sito è adatto alla visualizzazione da mobile o no.

[giusebos]

i file robots.tx che ho nei miei siti sono già modificati e nonostante non siano presenti queste righe

Disallow: /images/
Disallow: /media/
Disallow: /templates/

ho ricevuto la mail.
In oltre negli strumenti per webmaster, alla voce scansione>>Tester dei file robots.txt, facendo il test google risponde "consentito".
In un sito prestashop, ho addirittura eliminato (più di 3 mesi fà) il file robots.txt.

Stavo pensando che forse il motivo di questo invio mail fosse un'altro.

[xplosion]

Su un sito (J3.x) googlebot vuole accedere alla cartella cache, su un altro (J2.5) vuole accedere alle cartelle plugins, templates, libraries, modules e media.
E normale ? Devo abilitare tutte ?

[giusebos]

da dove hai visto che google vuole accedere alla cartella plugins etcetc?
Che strumento hai usato?

[xplosion]

Quello che dice alex:
Search Console" (strumenti per webmaster) > "Visualizza come Google" > "Recupera e visualizza"
Infatti dopo aver abilitato cache la scansione e andata a buon fine ! Ho provato e sistemato solo il sito con J3.x

[giusebos]

volevo solo una conferma, perchè io non ho nessun avviso in tal senso.

Ho provato anche con
tool.motoricerca.info

ma oltre a dirti quali sono le directory bloccate non dice altro.

[alexred]

Non è una buona idea aprire alla scansione di tutta la cartella cache o components o plugins
Ma inserire nel robots.txt solo la parte da abilitare prima di bloccare l'intera cartella,
questo un esempio sul robots.txt  di un sito che usa il modulo bt contentslider che usa la cartella cache per mostrare le immagini ridimensionate:

Allow: /cache/mod_bt_contentslider/
Disallow: /cache/

Stessa tecnica va effettuata anche per le altre parti sensibili, verificare quindi prima dallo strumento di Google quali sono le cartelle a cui vuole accedere e cercare di dare accesso solo a quelle e non togliere tutte le restrizioni per far contento Google 

[giusebos]

io non ho capito dove è che lo strumento di google ti dice a quali cartelle vuole accedere, con il tools messo a disposizione nel webmastertools, testando il file ho sempre risposte positive:

scansione>>Tester dei file robots.txt, facendo il test google risponde "consentito"

[xplosion]

Allow: /cache/mod_bt_contentslider/
Disallow: /cache/

Perfetto, grazie !
Nel mio caso era /cache/rokbooster/

[alexred]

io non ho capito dove è che lo strumento di google ti dice a quali cartelle vuole accedere, con il tools messo a disposizione nel webmastertools, testando il file ho sempre risposte positive

No, non è quello il tool che devi utilizzare, ma quello appena sopra: Scansione --> "Visualizza come Google" > "Recupera e visualizza"
Ovviamente devi fare parecchie prove indicando le varie URL del tuo sito e testando sia in configurazione "Desktop" che cellulare o mobile. Se lo stato della scansione poi risulta "Parziale" premi su quella scansione e ti appare il dettaglio di quali risorse Google non è riuscito a reperire

[giusebos]

ora ho capito, faccio subito qualche prova.

grazie

[joomla_fan]

Buongiorno a tutti.

L'argomento interessa anche me (avendo ricevuto l'avviso da Google) e vorrei chiedere alcuni chiarimenti a voi più esperti.
Premetto che il sito in questione non é nella root del dominio ma in una sottocartella, che nella root del sito non é presente
alcun file robots.txt ma solo nella sottocartella, che nella root é presente un htaccess che indirizza alla sottocartella.
-Mi chiedo, da quel che ho letto, googlebot analizza solo le root dei siti e non le sottocartelle. E' corretto?
-Anche googlebot "sente" l'htaccess?
- Se la risposta alla prima domanda é si, perchè mi é arrivato l'avviso?

Grazie.

[alexred]

-Mi chiedo, da quel che ho letto, googlebot analizza solo le root dei siti e non le sottocartelle. E' corretto?

no, non credo sia corretto.
Se vai su www.google.it e ricerchi l'indirizzo di una pagina di quel sito nella sottocartella vedrai che lo ritrovi nei risultati, quindi il bot di Google scansiona tutto il possibile, sottocartelle, sottodomini, sotto i tappeti e da tutte le parti

[joomla_fan]

Grazie Alexred.
Non sono molto bravo a spiegarmi e chiedo perdono.
Riprovo: googlebot legge il robots.txt anche nelle sottocartelle e da lì agisce di conseguenza?

[Alex21]

@Alex21 "aprire" così tanto a googlebot? Sicuro non sia un po' un pasticcio?

Aprire a googlebot non è certo un problema perché l' unica cosa che non gli mancano sono le informazioni. In effetti il crawler di google legge lo stesso sito anche più volte in un giorno e inoltre dispone di tonnellate di informazioni indirette su tutto.


Un pensierino bisogna invece farlo per gli altri bot. Ce ne sono tantissimi (uno solo italiano, peccato) e molti nemmeno dichiarano la propria identità.


Il problema del file robots.txt + joolma non è certo nuovo, perché il bot di google legge male i siti joomla da sempre, evidentemente. Ogni volta che aggiungiamo un componente al nostro sito dovremmo verificare che non interferisca con i bot. Una cosa mai fatta: a chi mai è venuto in mente?


Chissà perché la campagna di avvisi è stata fatta adesso.


Ciao
Alex




 

[MaxP4]

Google sta spalmando nella mia casella di posta.... 


Ho fatto alcuni controlli con gli strumenti di Google e ho una media di circa 25/30 voci a sito, ad esempio:



cache/template/gzip.php?widgetkit-5acd02bd-71476d56.css
cache/template/gzip.php?bootstrap-34213860.css
cache/template/gzip.php?jquery.min-cd74897e.js
media/plg_system_redcookie/js/redcookie.js
cache/template/gzip.php?template-ce14963a.js
media/mod_languages/images/it.gif
images/layout/web-design-montepulciano.png


...cioè, volete dire che io per ogni sito devo andare ad abilitare/disabilitare tutte le voci?!?!?!

[alexred]

Per la cache direi di si, mentre per le cartelle media e images io consiglierei di eliminarle proprio dalla regole nel robots.txt e lasciare libero accesso a Google in queste cartelle.

[maicolstaip]

Il problema del file robots.txt + joolma non è certo nuovo, perché il bot di google legge male i siti joomla da sempre, evidentemente.

Non credo sia vero, ho ricevuto gli stessi avvisi per siti fatti anche con altri CMS

[giusebos]

è un problema di tutti i CMS, pure wordpress che qualcuno considera, a torto, il non-plus-ultra

[tomtomeight]

Il file robots.txt in pratica è un avviso di cortesia per i bot di non guardare in alcune cartelle ai fini della indicizzazione, di non guardare non che glielo si impedisce, come sappiamo tutti i file css e js sono liberamente accessibili, allora mi chiedo perché google fa tanto casino e non li legge per quello che gli serve anche senza indicizzarli? Cioè se come dice ha bisogno di quei file per valutare e quotare anche l'aspetto grafico lo facesse senza crearci inutili problemi.

[giusebos]

credo che sia una tattica commerciale, controllando il sito, dando "accesso" a quelle cartelle "bloccate", si può puoi segnalare a googleboot di scansionare il sito, ma di queste scansioni comandate ne puoi fare max 10 al mese......a meno che non acquisti un abbonamento di google apps for work

[stil0s0]

Scusate. ma quindi a quali righe si deve mettere il #?

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

[giusebos]

lo vedi alla risposta nr8

[MBclick]

Ho trovato sul web questa ipotetica soluzione, secondo voi va bene?

Aggiungere al file robot.txt le seguenti righe:

User-Agent: Googlebot
Allow: .js
Allow: .css

[mygink]

Forse potrebbe essere così:
Allow: /*.css$
Allow: /*.js$


leggendo questa guida di Google https://support.google.com/webmasters/answer/6062596?hl=it

[ms91]

Ciao a tutti, io qualche giorno fa ho modificato il file robot.txt ed ho pensato che il messaggio fosse relativo a quella modifica, invece a quanto pare non è così!

Ho controllato come suggerito da alexred nella risposta#17 quali sono i path che googlebot trova bloccati e trovo tra questi quelli che avevo appositamente bloccato perchè non influissero negativamente sull'indicizzazione del sito!
A quanto ho capito questi devono essere indicizzati o sbaglio?
Non c'è un modo per far accedere google ai file css e js senza che vengano indicizzati!?