Joomla e robots.txt

[giggioman00]

Salve, mi è arrivata questa email da google

Di recente, i sistemi di Google hanno rilevato un problema con la tua home page che influisce negativamente sulla visualizzazione e sull'indicizzazione dei tuoi contenuti da parte dei nostri algoritmi. Nello specifico, Googlebot non può accedere ai tuoi file JavaScript e/o CSS a causa delle limitazioni del tuo file robots.txt. Questi file aiutano Google a comprendere se il tuo sito web funziona correttamente, pertanto bloccare l'accesso a questi asset può causare ranking inferiori a quelli ottimali.

Nei robots, infatti, c'è la linea:

Disallow: /components/

E nella cartella components si trovano i css e i js dei vari componenti. Quindi come fare? Non mi sembra una buona idea eliminare il disallow della cartella components per motivi di sicurezza, ma tenerlo e poi crollare nei motori di ricerca non mi sembra una valida alternativa

[tomtomeight]

Il file robots.txt non compromette nessuna sicurezza, leggi

http://forum.joomla.it/index.php/topic,253392.0.html

[giggioman00]

Beh, però se lasci indicizzare le cartelle del sito tipo components, la gente può sapere tutti i componenti che hai installato (anche quelli disattivati) e può essere un problema, no?

Ho letto alla veloce quella discussione, ma non c'è un modo per far accedere ai file css e js di tutto il sito senza togliere la disattivazione di tutta la cartella?
E poi... A me dice che non riesce ad accedere nemmeno ai file di font

[giovi]

Se il componente piazza quel materiale all'interno delle cartelle in cui è contenuta la business logic e non nelle cartelle dedicate come "images" o "media" non è un componente scritto bene. Ad ogni modo google indicizza solo ciò che è linciato su internet, non si permette di andare a ricercare con un algoritmo bruteforce tutto ciò che c'è sul sito. Lui consulta quel file solo se trova un link e solo per sapere se può indicizzarlo o meno. E' una convenzione, potrebbe benissimo ignorarlo ed indicizzare quello che gli capita a tiro.


Il problema di sicurezza non è se un utente scopre che hai un certo componente installato ma il fatto in se che lo hai installato. Se il componente non presenta vulnerabilità non corri alcun un problema di sicurezza.


Come ti ha spiegato tomtomeight, se il tuo sito è aggiornato e ben strutturato, non c'è nulla da temere a livello di sicurezza modificando il file robot.txt.


Guarda il file robot.txt in questo modo: è un cartello messo vicino ad una bancarella piena di gioielli preziosi con su scritto "non toccare"...


edit: perdonate i termini apparentemente fuori luogo ma la correzione grammaticale del mio computer è peggio della mia professoressa di lettere e corregge tutti i termini stranieri con quelli che più gli assomigliano...

[tomtomeight]

Beh, però se lasci indicizzare le cartelle del sito tipo components, la gente può sapere tutti i componenti che hai installato (anche quelli disattivati) e può essere un problema, no?

Non c'è mica bisogno del file robots.tht per conoscere e leggere quali file .cs, .js e cartelle  nel tuo sito, basta firebug per i .css e .js e un motore di scansione per leggere tutta la struttura del tuo sito anche se ovviamente non sarà possibile leggere i  .php. Quindi la sicurezza sta da tutt'altra parte.

[giusebos]

edit: perdonate i termini apparentemente fuori luogo ma la correzione grammaticale del mio computer è peggio della mia professoressa di lettere e corregge tutti i termini stranieri con quelli che più gli assomigliano...

Io come correttore inglese italiano uso cataldo software

dailymotion.com/video/x1r1h7_prof-d-inglese_fun

[giggioman00]

Quindi consigliate di rimuovere quella linea?

Perché ho provato ad inserire:
User-Agent: Googlebot
Allow: /*.css$
Allow: /*.js$

Ma secondo google webmaster sembra non funzionare, sembra che google dia comunque la precedente al Disallow: /components/

[giovi]

Perché ho provato ad inserire:
User-Agent: Googlebot
Allow: /*.css$
Allow: /*.js$

Anche tu utilizzi cataldo software per imparare la programmazione?

[giggioman00]

Anche tu utilizzi cataldo software per imparare la programmazione?

Ehm... C'è scritto qui: https://support.google.com/webmasters/answer/6062596?hl=it

File di un tipo specifico (ad esempio, .gif):
User-agent: Googlebot
Disallow: /*.gif$

Tra l'altro è il link che è stato linkato anche nel topic qui sopra.
E comunque no, se uso joomla e non un cms fatto in casa evidentemente non me ne intendo di programmazione.

[giovi]

Ma li c'è scritto disallow

[giggioman00]

Ok, ho sistemato il file robots, ora riesce ad accedere a tutto il sito senza problemi. Ora google se ne accorge da solo o devo fare qualcosa per dirgli dei cambiamenti?

[giovi]

Sarebbe interessante sapere come lo hai sistemato.
Google se ne accorge da solo ma puoi dargli un input richiedendo la scansione parziale o completa (ma non è vincolante per lui e ne hai un tot massimo a disposizione)

[Palbi]

Che la cartella components debba comparire nel robots non ci piove, quello che trovo strano è che all'interno di questa tu abbia le cartelle e i relativi files CSS e JS, di solito quelle utilizzate dal sito dovrebbero trovarsi in www.tuosito.xxx"/templates/tuotemplate/".

[giovi]

Qualche componente (molte volte proveniente da  altre piattaforme) posiziona i CSS insieme ai file della view anziché nella cartella media (non templates perché quella è dedicata solo alla grafica del templare) al fine di rendere più veloce l'integrazione e la realizzazione. Bisognerebbe contattare lo sviluppatore per richiedere la correzione

[giggioman00]

Sarebbe interessante sapere come lo hai sistemato.
Google se ne accorge da solo ma puoi dargli un input richiedendo la scansione parziale o completa (ma non è vincolante per lui e ne hai un tot massimo a disposizione)

Ho semplicemente cancellato la cartella components dal file robots