Ciao bodyworld,
parto col dirti che suggerire agli spider di non rendere il tuo sito in costruzione "crawlable" non è assolutamente sbagliato, al contrario, è una buona pratica insieme all'opzione "no index, no follow" da pannello amministrativo Joomla.
Se sei sicuro di aver sovrascritto correttamente il tuo file robots.txt con quello originale di Joomla (controllando che non contenga la stringa
Disallow: /) allora non hai nulla di cui preoccuparti. Devi solo attendere che gli spider ripassino per il tuo sito (generalmente il ripasso avviene entro due o tre giorni).
Tuttavia puoi aiutare Google in questo, attraverso gli "Strumenti per Webmaster" nel seguente modo:
- dal menu Scansione della Dashboard fai clic su Visualizza come Google
- fai clic sul tasto Recupera
- una volta che la pagina è stata recuperata fai clic su Invia all'indice
- fai clic sull'opzione URL e tutte le pagine con link
- fai clic su OK
Google tuttavia non garantisce che indicizzerà ogni URL sottoposto a scansione.
https://support.google.com/webmasters/answer/1352276?hl=it&ref_topic=2371374Per controllare se il tuo sito è stato indicizzato cerca con google site:www.sito.it o site:sito.it (in base al tuo dominio preferito selezionato). Se ti vengono restituite delle pagine allora il tuo sito è correttamente indicizzato, se ne mancano alcune che dovrebbero esserci allora c'è qualche problema con tuo file robots.txt.
Per concludere ti rimando ad un articolo di ZioPal per migliorare il file robots.txt del tuo sito Joomla:
http://www.joomla.it/articoli-community-16-e-17-tab/5503-come-impostare-il-file-robotstxt-in-joomla.html.
Spero di esserti stato utile.
Enjoy SEO
