Ho letto che per creare dei robots.txt per nascondere il sito agli spiders si deve scrivere ad esempio:
User-agent: googlebot ad esempio per google e se lo si vuole nascondere a tutti i motori di ricerca bisogna scrivere *
Significa che devo scrivere solo * dopo User-agent ? Esempio: User-agent: *
Chiedo conferma a chi è un po' pratico.
Vorrei che tutto il sito per il momento non venisse indicizzato,
dovrei quindi scrivere anche Disallow: / quindi solo lo slash oppure basta il comando che ho scritto precedentemente?
Sarà un sito con molte immagini, quindi non so se serva un comando apposito per nascondere anch'esse:
Nel caso.......devo scrivere sotto il precedente comando quest'altro? Disallow: /immagini oppure devo scrivere le estensioni delle immagini?
Grazie anticipatamente
