Googlebot non riesce ad accedere ai file CSS e JS su ....

[mygink]

Ciao, ho appena ricevuto questo avviso da Google Search Console Team, ho già letto un post recente su questo argomento, quindi non vorrei annoiare nessuno, ma nel mio caso viene scritto esplicitamente che Googlebot vorrebbe accedere ai miei file CSS e Js per assicurarsi che il sito funzioni correttamente:

... Googlebot non può accedere ai tuoi file JavaScript e/o CSS a causa delle limitazioni del tuo file robots.txt. Questi file aiutano Google a comprendere se il tuo sito web funziona correttamente, pertanto bloccare l'accesso a questi asset può causare ranking inferiori a quelli ottimali.

Secondo voi cosa dovrei fare? Il test "Visualizza come Google" è passato, anche se parzialmente come mobile. Se tolgo il disallow a /templates/ nel robots c'è qualche possibile implicazione negativa?

[giusebos]

non fare niente, oggi c'è qualcosa che non funziona: di questi messaggio ne sto ricevendo a quintali.

[mygink]

OK, grazie per la risposta giusebos!

[tonicopi]

Secondo me vuole accedere alle cartelle templates e media. Io da un po' cancello quelle due cartelle dal robot.txt oltre alla cartella images che tolgo già da quando lo consigliò Teeman in un lontano joomladay. Non ci vedo nulla di male.
Anche a me stanno arrivando diversi di quelle email ma tutte di siti dove in effetti non accede alla cartella templates...

[Alex21]

Ho ricevuto anche io lo stesso messaggio.
A questo punto, opportunamente stimolato dal messaggio, sono andato a vedere il file robots.txt e il sorgente del sito.


Questo è il robots.txt.

# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html


User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/


Nel sorgente c'è invece questo altro:

<link rel="stylesheet" href="/templates/gantry/css-compiled/menu-866aa62ff6c16fcab414a76f625ee345.css" type="text/css" />
  <link rel="stylesheet" href="/libraries/gantry/css/grid-responsive.css" type="text/css" />
  <link rel="stylesheet" href="/templates/gantry/css-compiled/bootstrap.css" type="text/css" />
  <link rel="stylesheet" href="/templates/gantry/css-compiled/master-53f95a45aa1d40970d8d57ed4b5a8aec.css" type="text/css" />
  <link rel="stylesheet" href="/templates/gantry/css-compiled/960fixed.css" type="text/css" />
  <link rel="stylesheet" href="/templates/gantry/css/gantry-custom.css" type="text/css" />
  <link rel="stylesheet" href="http://exemple.it/modules/mod_domussearch/assets/mod_domussearch.css" type="text/css" />
 

Insomma, va a caricare i file anche il cartelle escluse ai crewlers.


Ho modificato in questo modo robots.txt

# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html


User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
# Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
# Disallow: /libraries/
Disallow: /logs/
# Disallow: /media/
# Disallow: /modules/
Disallow: /plugins/
# Disallow: /templates/
Disallow: /tmp/


Ora gli strumenti di google dicono che riescono a vedere bene.
Spero di non aver fatto nessun pasticcio con joomla.


un salutone!
Alex

[mygink]

@tonicopi se lo consiglia anche Teeman direi che potrei considerare di prender l'abitudine di rimuovere il disallow dalle cartelle media e templates, grazie!


@Alex21 "aprire" così tanto a googlebot? Sicuro non sia un po' un pasticcio?

[giusebos]

stessa cosa con siti realizzati con prestashop e wordpress......

[alexred]

In queste ore sono partite molte mail da parte di Google ai gestori di siti con Joomla dove viene indicato che il Googlebot non riesce ad accedere ai file CSS e JS.
Nella cartella principale che contiene il sito Joomla è presente il file robots.txt  ed in questo file sono presenti le istruzioni che impediscono al Googlebot ed ai bot degli altri motori di ricerca di accedere a determinate cartelle.
La presenza in questo file di istruzioni come:
Disallow: /images/
Disallow: /media/
Disallow: /templates/

impedisce a google di accedere ai CSS e JS del template del sito e non può capire così l'effettivo funzionamento della grafica del sito per dispositivi mobili ecc...
Inoltre anche le cartelle /libraries/ e /modules/ spesso contengono CSS e JS ed anche /components/  e /plugins/
ma è bene fare le relative verifiche ed abilitare solo lo stretto necessario

Da "Search Console" (strumenti per webmaster) puoi fare una veloce verifica per ogni sito e capire quali sono i file a cui Google non riesce ad accedere ed individuare così quali istruzioni Disallow eventualmente eliminare dal tuo file robots.txt
Vai su "Visualizza come Google" poi lancia "Recupera e visualizza"

Google vuole capire come si visualizzano effettivamente le pagine del sito su tutti i vari dispositivi e per fare questo ha bisogno di avere accesso anche ai file CSS e JS.
Sappiamo bene che Google deve verificare se il sito è effettivamente "responsive" per premiarlo o bocciarlo sui risultati nelle ricerche, oppure per indicare già nelle ricerche se il sito è adatto alla visualizzazione da mobile o no.

[giusebos]

i file robots.tx che ho nei miei siti sono già modificati e nonostante non siano presenti queste righe

Disallow: /images/
Disallow: /media/
Disallow: /templates/

ho ricevuto la mail.
In oltre negli strumenti per webmaster, alla voce scansione>>Tester dei file robots.txt, facendo il test google risponde "consentito".
In un sito prestashop, ho addirittura eliminato (più di 3 mesi fà) il file robots.txt.

Stavo pensando che forse il motivo di questo invio mail fosse un'altro.

[xplosion]

Su un sito (J3.x) googlebot vuole accedere alla cartella cache, su un altro (J2.5) vuole accedere alle cartelle plugins, templates, libraries, modules e media.
E normale ? Devo abilitare tutte ?

[giusebos]

da dove hai visto che google vuole accedere alla cartella plugins etcetc?
Che strumento hai usato?

[xplosion]

Quello che dice alex:
Search Console" (strumenti per webmaster) > "Visualizza come Google" > "Recupera e visualizza"
Infatti dopo aver abilitato cache la scansione e andata a buon fine ! Ho provato e sistemato solo il sito con J3.x

[giusebos]

volevo solo una conferma, perchè io non ho nessun avviso in tal senso.

Ho provato anche con
tool.motoricerca.info

ma oltre a dirti quali sono le directory bloccate non dice altro.

[alexred]

Non è una buona idea aprire alla scansione di tutta la cartella cache o components o plugins
Ma inserire nel robots.txt solo la parte da abilitare prima di bloccare l'intera cartella,
questo un esempio sul robots.txt  di un sito che usa il modulo bt contentslider che usa la cartella cache per mostrare le immagini ridimensionate:

Allow: /cache/mod_bt_contentslider/
Disallow: /cache/

Stessa tecnica va effettuata anche per le altre parti sensibili, verificare quindi prima dallo strumento di Google quali sono le cartelle a cui vuole accedere e cercare di dare accesso solo a quelle e non togliere tutte le restrizioni per far contento Google 

[giusebos]

io non ho capito dove è che lo strumento di google ti dice a quali cartelle vuole accedere, con il tools messo a disposizione nel webmastertools, testando il file ho sempre risposte positive:

scansione>>Tester dei file robots.txt, facendo il test google risponde "consentito"

[xplosion]

Allow: /cache/mod_bt_contentslider/
Disallow: /cache/

Perfetto, grazie !
Nel mio caso era /cache/rokbooster/

[alexred]

io non ho capito dove è che lo strumento di google ti dice a quali cartelle vuole accedere, con il tools messo a disposizione nel webmastertools, testando il file ho sempre risposte positive

No, non è quello il tool che devi utilizzare, ma quello appena sopra: Scansione --> "Visualizza come Google" > "Recupera e visualizza"
Ovviamente devi fare parecchie prove indicando le varie URL del tuo sito e testando sia in configurazione "Desktop" che cellulare o mobile. Se lo stato della scansione poi risulta "Parziale" premi su quella scansione e ti appare il dettaglio di quali risorse Google non è riuscito a reperire

[giusebos]

ora ho capito, faccio subito qualche prova.

grazie

[joomla_fan]

Buongiorno a tutti.

L'argomento interessa anche me (avendo ricevuto l'avviso da Google) e vorrei chiedere alcuni chiarimenti a voi più esperti.
Premetto che il sito in questione non é nella root del dominio ma in una sottocartella, che nella root del sito non é presente
alcun file robots.txt ma solo nella sottocartella, che nella root é presente un htaccess che indirizza alla sottocartella.
-Mi chiedo, da quel che ho letto, googlebot analizza solo le root dei siti e non le sottocartelle. E' corretto?
-Anche googlebot "sente" l'htaccess?
- Se la risposta alla prima domanda é si, perchè mi é arrivato l'avviso?

Grazie.

[alexred]

-Mi chiedo, da quel che ho letto, googlebot analizza solo le root dei siti e non le sottocartelle. E' corretto?

no, non credo sia corretto.
Se vai su www.google.it e ricerchi l'indirizzo di una pagina di quel sito nella sottocartella vedrai che lo ritrovi nei risultati, quindi il bot di Google scansiona tutto il possibile, sottocartelle, sottodomini, sotto i tappeti e da tutte le parti