Googlebot non riesce ad accedere ai file CSS e JS su ....

[joomla_fan]

Grazie Alexred.
Non sono molto bravo a spiegarmi e chiedo perdono.
Riprovo: googlebot legge il robots.txt anche nelle sottocartelle e da lì agisce di conseguenza?

[Alex21]

@Alex21 "aprire" così tanto a googlebot? Sicuro non sia un po' un pasticcio?

Aprire a googlebot non è certo un problema perché l' unica cosa che non gli mancano sono le informazioni. In effetti il crawler di google legge lo stesso sito anche più volte in un giorno e inoltre dispone di tonnellate di informazioni indirette su tutto.


Un pensierino bisogna invece farlo per gli altri bot. Ce ne sono tantissimi (uno solo italiano, peccato) e molti nemmeno dichiarano la propria identità.


Il problema del file robots.txt + joolma non è certo nuovo, perché il bot di google legge male i siti joomla da sempre, evidentemente. Ogni volta che aggiungiamo un componente al nostro sito dovremmo verificare che non interferisca con i bot. Una cosa mai fatta: a chi mai è venuto in mente?


Chissà perché la campagna di avvisi è stata fatta adesso.


Ciao
Alex




 

[MaxP4]

Google sta spalmando nella mia casella di posta.... 


Ho fatto alcuni controlli con gli strumenti di Google e ho una media di circa 25/30 voci a sito, ad esempio:



cache/template/gzip.php?widgetkit-5acd02bd-71476d56.css
cache/template/gzip.php?bootstrap-34213860.css
cache/template/gzip.php?jquery.min-cd74897e.js
media/plg_system_redcookie/js/redcookie.js
cache/template/gzip.php?template-ce14963a.js
media/mod_languages/images/it.gif
images/layout/web-design-montepulciano.png


...cioè, volete dire che io per ogni sito devo andare ad abilitare/disabilitare tutte le voci?!?!?!

[alexred]

Per la cache direi di si, mentre per le cartelle media e images io consiglierei di eliminarle proprio dalla regole nel robots.txt e lasciare libero accesso a Google in queste cartelle.

[maicolstaip]

Il problema del file robots.txt + joolma non è certo nuovo, perché il bot di google legge male i siti joomla da sempre, evidentemente.

Non credo sia vero, ho ricevuto gli stessi avvisi per siti fatti anche con altri CMS

[giusebos]

è un problema di tutti i CMS, pure wordpress che qualcuno considera, a torto, il non-plus-ultra

[tomtomeight]

Il file robots.txt in pratica è un avviso di cortesia per i bot di non guardare in alcune cartelle ai fini della indicizzazione, di non guardare non che glielo si impedisce, come sappiamo tutti i file css e js sono liberamente accessibili, allora mi chiedo perché google fa tanto casino e non li legge per quello che gli serve anche senza indicizzarli? Cioè se come dice ha bisogno di quei file per valutare e quotare anche l'aspetto grafico lo facesse senza crearci inutili problemi.

[giusebos]

credo che sia una tattica commerciale, controllando il sito, dando "accesso" a quelle cartelle "bloccate", si può puoi segnalare a googleboot di scansionare il sito, ma di queste scansioni comandate ne puoi fare max 10 al mese......a meno che non acquisti un abbonamento di google apps for work

[stil0s0]

Scusate. ma quindi a quali righe si deve mettere il #?

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

[giusebos]

lo vedi alla risposta nr8

[MBclick]

Ho trovato sul web questa ipotetica soluzione, secondo voi va bene?

Aggiungere al file robot.txt le seguenti righe:

User-Agent: Googlebot
Allow: .js
Allow: .css

[mygink]

Forse potrebbe essere così:
Allow: /*.css$
Allow: /*.js$


leggendo questa guida di Google https://support.google.com/webmasters/answer/6062596?hl=it

[ms91]

Ciao a tutti, io qualche giorno fa ho modificato il file robot.txt ed ho pensato che il messaggio fosse relativo a quella modifica, invece a quanto pare non è così!

Ho controllato come suggerito da alexred nella risposta#17 quali sono i path che googlebot trova bloccati e trovo tra questi quelli che avevo appositamente bloccato perchè non influissero negativamente sull'indicizzazione del sito!
A quanto ho capito questi devono essere indicizzati o sbaglio?
Non c'è un modo per far accedere google ai file css e js senza che vengano indicizzati!?