Joomla.it Forum

Joomla! 1.0.x (versione con supporto terminato) => Le voci di Joomla.it (solo per versione Joomla 1.0.x) => : ale1976 28 Feb 2007, 23:37:15

: Info su robots.txt e google
: ale1976 28 Feb 2007, 23:37:15
Salve ragazzi nel mio account di google mi dice per il sito www.stefyline.com che ho fatto con Jooomla, che ci sono "URL limitati da robots.txt (295)" che praticamente sono tutti gli URL del mio sito. E' normale questa cosa?
Grazie

p.s. ho visto alcuni post sul forum, ma non e' che ci abbia capito tanto, un po' di URL ok ma tutti? e' possibile?
: Re: Info su robots.txt e google
: .Andrea S. 01 Mar 2007, 07:53:41
che cosa hai inserito nel file robots?
Tutte le dir che sono presenti in quel file vengono skippate da google (nel senso che non lo indicizza).
Ciao!
: Re: Info su robots.txt e google
: ale1976 01 Mar 2007, 09:51:42
Grazie del supporto Andrea, l'ho scaricato ed aperto il file, è c'e' scritto questo dentro:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/

Non so' se è importante, ma io sto' usando il componente ArtioJomSEF.

Resto in attesa, grazie
: Re: Info su robots.txt e google
: ale1976 03 Mar 2007, 11:16:26
Raga, nessuno sa' dirmi qualcosa riguardo a questo problemone?  ???
Grazie
: Re: Info su robots.txt e google
: .Andrea S. 03 Mar 2007, 11:17:55
Tutte le dir che sono presenti in quel file vengono skippate da google (nel senso che non le indicizza).
quindi..... rimuovi le dir che vuoi vengano indicizzate! ;)
: Re: Info su robots.txt e google
: carlodamo 03 Mar 2007, 12:31:07
invede di disallow, mettici allow

sarebbe non permetti/permetti

oppure cancellale pure dal file robots.txt

meglio ancora, cercati su google o html.it un piccolo tuttorial che spieghi bene l'utilizzo del file robots.txt.

ciao
: Re: Info su robots.txt e google
: ale1976 03 Mar 2007, 17:43:47
Le ho messe cosi:
User-agent: *
Disallow:/administrator/
Disallow: /cache/
Allow: /components/
Disallow: /editor/
Disallow: /help/
Allow: /images/
Allow: /includes/
Allow: /language/
Allow: /mambots/
Allow: /media/
Allow: /modules/
Disallow: /templates/
Disallow: /installation/

Mi sembra giusto, tanto le directory con disallow non vengono viste da google.
Grazie a tutti voi
: Re: Info su robots.txt e google
: Costantino 03 Mar 2007, 17:58:35
Ti sconsiglio vivamente di usare quel Allow per tutti alla  cartella /componet/

Usa questo sistema , è più sicuro contro le intrusioni di tutti gli User-agent , ma lasci il permesso solo ad alcuni graber e spider (es. per google = googlebot , per yahoo = slurp)

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/
Disallow: /editor/
Disallow: /help/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
User-agent: Libwww-perl 5.65
Disallow: /component/
User-agent: Libwww-perl 5.803
Disallow: /component/
User-agent: Libwww-perl 5.805
Disallow: /componet/
User-agent: Libwww-perl 5.79
Disallow: /componet/
User-agent: Libwww-perl 5.48
Disallow: /componet/
User-agent: Libwww-perl 5.64
Disallow: /componet/
User-agent: Libwww-perl 5.63
Disallow: /componet/
User-agent: Libwww-perl 5.76
Disallow: /componet/
User-agent: Libwww-perl 5.75
Disallow: /componet/
User-agent: googlebot
Allow: /componet/
User-agent: Slurp
Allow: /component/

Provalo ... ciao
: Re: Info su robots.txt e google
: ale1976 05 Mar 2007, 17:09:10
Ho fatto come mi hai detto, pero' purtroppo mi appare la visualizzazione come da immagine allegata, anche se il Googlebot riesce secondo google ad analizzare il file robots.txt
Pero' gli url che vengono limitati sono 197 e non capisco proprio il perchè!!  :(

[allegato eliminato da un amministratore]
: Re: Info su robots.txt e google
: .Andrea S. 05 Mar 2007, 17:52:48
Aspetta un po di tempo... non è immediato l'aggiornamento...
: Re: Info su robots.txt e google
: ale1976 05 Mar 2007, 18:18:34
Ciao Andrea, si parla di diversi giorni? Perche' gia' sotto il file robots che legge googlebot risulta corretto.
Fammi sapere, grazie
: Re: Info su robots.txt e google
: .Andrea S. 05 Mar 2007, 18:55:09
Si, puoi prova a reinviare la scansione per accellerare, ad ogni modo ci dovrebbe mettere qualche giorno.
: Re: Info su robots.txt e google
: Costantino 06 Mar 2007, 14:35:30
(http://www.prestitofinanziamenti.com/immagini-provisorio/Verifica-robots.png)
(http://www.prestitofinanziamenti.com/immagini-provisorio/Verifica-robots2.png)
Puoi fare la tua verifica inserendo manualmente il nuovo file-robots.txt nell'apposita cartella (vedi immagine) , poi google rinnoverà al prossimo passaggio , quindi non preocuparti, devi solo avere un pò di pazienza  ;).
ciao
: Re: Info su robots.txt e google
: fbcyborg 15 Oct 2007, 12:25:25
Ciao ragazzi, un solo quesito:
ho visto che in pratica il file robots.txt viene creato automaticamente (io non ce l'ho mai messo, ed ora me lo trovo nella root dir).
Quando ho indicizzato il mio sito mi sono adoperato per far sì che alcuni URL indicizzati fossero rimossi dal db di google, tramite questa (https://www.google.com/webmasters/tools/removals) pagina.
Oggi mi trovo con un file robots.txt che non ho mai creato e quando accedo al pannello degli "Strumenti" per i webmasters di google, vedo che l'unica voce cliccabile è "Analizza robots.txt".
Le voci "Attiva ricerca immagini avanzata", "Gestisci la verifica del sito", "Imposta frequenza di scansione", "Imposta dominio preferito" e "Rimuovi URL" sono disabilitati.
Perché non posso più accedere alla sezione "Rimuovi URL"? Suppongo che la risposta sia "perché ho il robots.txt sul mio sito", ma allora, prima quando non esisteva quel file era un problema? Si può rimuovere? Serve???
Ho un po' di confusione in testa..
: Re: Info su robots.txt e google
: .Andrea S. 15 Oct 2007, 17:27:52
le cose non sono collegate, quelli di google hanno cambiato l'interfaccia adesso il menu rimuovi url lo dovresti trovare sotto "tools"
: Re: Info su robots.txt e google
: fbcyborg 15 Oct 2007, 18:54:44
le cose non sono collegate, quelli di google hanno cambiato l'interfaccia adesso il menu rimuovi url lo dovresti trovare sotto "tools"
Mi riferivo proprio a quello.