Strumenti per webmaster e robots.txt

[sasarella]

Ciao! 

Controllando su Strumenti per webmaster ho visto che restituisce errore sulla scansione del robots.txt.
Segnala "bloccate dai robot".
 
Vi allego un'immagine farvi vedere da quando è così.
Ma non ho idea del motivo e come risolvere questa cosa..
Ho controllato i permessi di file e cartelle, è tutto regolare! E il file è così:

# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Sapete perchè c'è questo problema? A qualcuno di voi è già capitato?
Grazie 

[allegato eliminato automaticamente dopo un anno]

[mau_develop]

che problema? ...se disallowi una directory il robot non entra...

[sasarella]

Ma perchè nel grafico mi segna "Totali indicizzate 0"? 

[giusebos]

quanti giorni sono passati dall'inserimento in google webmaster?
Ultimamente sembra che gli strumenti per webmaster prendono in carico il sito un pò per volta....quindi occorre più tempo.

[ZioPal]

Ciao Sasarella,
il sito è indicizzato? Se cerchi site:www.tuosito.ext ti restituisce risultati? Il file robots non mi pare abbia nulla di strano.

Maurizio ZioPal

[mau_develop]

Disallow: /installation/
------------------------------
?? ma chi l'ha scritto quel file?

[sasarella]

Scusate l'assenza ma era per studiare il problema.. che ovviamente non l'ho ancora capito! 

Ciao M_W_C!

Disallow: /installation/
------------------------------
?? ma chi l'ha scritto quel file?

Joomla in automatico?!? E' sempre quello che ho trovato esempre quello che ho utilizzato. Dici che devo riscriverlo?

Ciao ZioPal!

Ciao Sasarella,
il sito è indicizzato? Se cerchi site:www.tuosito.ext ti restituisce risultati? Il file robots non mi pare abbia nulla di strano.

Maurizio ZioPal

Si, nei risultati di ricerca c'è (e per fortuna!)

Ciao giusebos!

quanti giorni sono passati dall'inserimento in google webmaster?
Ultimamente sembra che gli strumenti per webmaster prendono in carico il sito un pò per volta....quindi occorre più tempo.

E' da qualche anno, ma ho letto che bisogna fare attenzione al www o senza www.
Adesso li ho messi in osservazione in GWT entrambi..

[luketto]

Ciao Sasarella, in che senso li hai messi in osservazione entrambi?! da quando? uno dei 2 dovrebbe fare 301 sull'altro sennò ti duplichi tutto il sito.

[sasarella]

Che ti devo dire.. Io il sito l'ho impostato senza www. Ma su Google l'avevo messo con il www e mi ha sempre letto e dato i dati. Infatti anche a me sembra strano, soprattutto quando ho inserito il secondo (senza www). Infatti era una prova.
Non so a più a che santo chiedere perché mi stanno uscendo stiamo casini! 

[luketto]

Niente panico.
Il sito è raggiungibile sia con che senza WWW?
Se sì imposta il 301, credo tu possa farlo anche direttamente dal pannello di controllo del tuo hoster, se è indicizzato anche il WWW imposta la regola anche nel file .htaccess e questa cosa la risolvi così.


In WMT / Impostazioni / Impostazioni sito setta il dominio preferito a quello senza WWW.


Il crollo dell'indicizzazione si potrebbe spiegare con una richiesta di rimozione della URL ma se il site ti restituisce valori non è questo il problema, controlla anche eventuale aumento di link verso il tuo sito da siti spammosi.


Le visite da organico come vanno' sono calate anche quelle?

[sasarella]

Ciao luketto! Grazie per le info, ma ho bisogno di capire meglio

Niente panico.
Il sito è raggiungibile sia con che senza WWW?
Se sì imposta il 301, credo tu possa farlo anche direttamente dal pannello di controllo del tuo hoster, se è indicizzato anche il WWW imposta la regola anche nel file .htaccess e questa cosa la risolvi così.

Dato che devo impostarlo, secondo te è meglio con o senza www?

... controlla anche eventuale aumento di link verso il tuo sito da siti spammosi.

Come faccio a vederlo? 

Le visite da organico come vanno' sono calate anche quelle?

E questo proprio non so neanche che vor dì! 

Grazie 1000000!!!

[luketto]

Se segnali il tuo sito facciamo prima...
in linea generale: se sono indicizzati tutti 2 gli indirizzi, guardati quale dei due è meglio posizionato, dopodiché 301 di 1 rispetto l'altro e a questo punto sai cosa scegliere su WMT


2: WMT -> Link che rimandano al tuo sito
    Backlink watch
    Opensite explorer
    ahrefs
Nelle versioni free, ovviamente


3: Google Analytics -> Acquisizione -> Parole chiave -> Risultati organici