Info su robots.txt e google

[ale1976]

Salve ragazzi nel mio account di google mi dice per il sito www.stefyline.com che ho fatto con Jooomla, che ci sono "URL limitati da robots.txt (295)" che praticamente sono tutti gli URL del mio sito. E' normale questa cosa?
Grazie

p.s. ho visto alcuni post sul forum, ma non e' che ci abbia capito tanto, un po' di URL ok ma tutti? e' possibile?

[.Andrea S.]

che cosa hai inserito nel file robots?
Tutte le dir che sono presenti in quel file vengono skippate da google (nel senso che non lo indicizza).
Ciao!

[ale1976]

Grazie del supporto Andrea, l'ho scaricato ed aperto il file, è c'e' scritto questo dentro:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/

Non so' se è importante, ma io sto' usando il componente ArtioJomSEF.

Resto in attesa, grazie

[ale1976]

Raga, nessuno sa' dirmi qualcosa riguardo a questo problemone? 
Grazie

[.Andrea S.]

Tutte le dir che sono presenti in quel file vengono skippate da google (nel senso che non le indicizza).

quindi..... rimuovi le dir che vuoi vengano indicizzate!

[carlodamo]

invede di disallow, mettici allow

sarebbe non permetti/permetti

oppure cancellale pure dal file robots.txt

meglio ancora, cercati su google o html.it un piccolo tuttorial che spieghi bene l'utilizzo del file robots.txt.

ciao

[ale1976]

Le ho messe cosi:
User-agent: *
Disallow:/administrator/
Disallow: /cache/
Allow: /components/
Disallow: /editor/
Disallow: /help/
Allow: /images/
Allow: /includes/
Allow: /language/
Allow: /mambots/
Allow: /media/
Allow: /modules/
Disallow: /templates/
Disallow: /installation/

Mi sembra giusto, tanto le directory con disallow non vengono viste da google.
Grazie a tutti voi

[Costantino]

Ti sconsiglio vivamente di usare quel Allow per tutti alla  cartella /componet/

Usa questo sistema , è più sicuro contro le intrusioni di tutti gli User-agent , ma lasci il permesso solo ad alcuni graber e spider (es. per google = googlebot , per yahoo = slurp)

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/
Disallow: /editor/
Disallow: /help/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
User-agent: Libwww-perl 5.65
Disallow: /component/
User-agent: Libwww-perl 5.803
Disallow: /component/
User-agent: Libwww-perl 5.805
Disallow: /componet/
User-agent: Libwww-perl 5.79
Disallow: /componet/
User-agent: Libwww-perl 5.48
Disallow: /componet/
User-agent: Libwww-perl 5.64
Disallow: /componet/
User-agent: Libwww-perl 5.63
Disallow: /componet/
User-agent: Libwww-perl 5.76
Disallow: /componet/
User-agent: Libwww-perl 5.75
Disallow: /componet/
User-agent: googlebot
Allow: /componet/
User-agent: Slurp
Allow: /component/

Provalo ... ciao

[ale1976]

Ho fatto come mi hai detto, pero' purtroppo mi appare la visualizzazione come da immagine allegata, anche se il Googlebot riesce secondo google ad analizzare il file robots.txt
Pero' gli url che vengono limitati sono 197 e non capisco proprio il perchè!! 

[allegato eliminato da un amministratore]

[.Andrea S.]

Aspetta un po di tempo... non è immediato l'aggiornamento...

[ale1976]

Ciao Andrea, si parla di diversi giorni? Perche' gia' sotto il file robots che legge googlebot risulta corretto.
Fammi sapere, grazie

[.Andrea S.]

Si, puoi prova a reinviare la scansione per accellerare, ad ogni modo ci dovrebbe mettere qualche giorno.

[Costantino]

Puoi fare la tua verifica inserendo manualmente il nuovo file-robots.txt nell'apposita cartella (vedi immagine) , poi google rinnoverà al prossimo passaggio , quindi non preocuparti, devi solo avere un pò di pazienza  .
ciao

[fbcyborg]

Ciao ragazzi, un solo quesito:
ho visto che in pratica il file robots.txt viene creato automaticamente (io non ce l'ho mai messo, ed ora me lo trovo nella root dir).
Quando ho indicizzato il mio sito mi sono adoperato per far sì che alcuni URL indicizzati fossero rimossi dal db di google, tramite questa pagina.
Oggi mi trovo con un file robots.txt che non ho mai creato e quando accedo al pannello degli "Strumenti" per i webmasters di google, vedo che l'unica voce cliccabile è "Analizza robots.txt".
Le voci "Attiva ricerca immagini avanzata", "Gestisci la verifica del sito", "Imposta frequenza di scansione", "Imposta dominio preferito" e "Rimuovi URL" sono disabilitati.
Perché non posso più accedere alla sezione "Rimuovi URL"? Suppongo che la risposta sia "perché ho il robots.txt sul mio sito", ma allora, prima quando non esisteva quel file era un problema? Si può rimuovere? Serve???
Ho un po' di confusione in testa..

[.Andrea S.]

le cose non sono collegate, quelli di google hanno cambiato l'interfaccia adesso il menu rimuovi url lo dovresti trovare sotto "tools"

[fbcyborg]

le cose non sono collegate, quelli di google hanno cambiato l'interfaccia adesso il menu rimuovi url lo dovresti trovare sotto "tools"

Mi riferivo proprio a quello.