Come da titolo, vorrei sapere se c'è qualcuno che sa spiegarmi esattamente come la limitazione dell'accesso alle cartelle specificata sul file robots.txt, possa influire sull'indicizzazione di sezioni, categorie e relativi articoli.
A quanto ne so io, è sconsigliato utilizzare per una sezione o categoria il nome di una cartella bloccata, pena la non indicizzazione della sezione/categoria stessa.
Ma la corrispondenza fra nomi deve essere perfetta, o basta che il nome della cartella comprenda quello della sezione/categoria?
Per spiegarmi meglio descrivo il mio caso:
In robots.txt compare come di default, fra gli altri
Disallow: /plugins
Ora, io ho sia una categoria (Notizie/plug-in) che una sezione (Plug-in) con questo nome, ma proprio per evitare la completa corrispondenza ho eliminato la "s" finale.
Per come la vedo io, così non dovrebbe bloccare l'indicizzazione (mentre credo avrebbe dovuta bloccarla nel caso contrario, ovvero se il nome del disallow fosse stato contenuto in quello di sezione/categoria), è giusto o sbaglio?
Nel caso blocchi l'indicizzazione, bloccherebbe l'indicizzazione anche di tutti gli articoli contenuti nella sezione/categoria?
E infine, questo rischio si presenta anche quando un termine bloccato (per esmpio, prendiamo la parola "media", per fare un altro esempio più diffuso) compare nel titolo di un singolo articolo?
grazie, scusate la lunghezza ma la questione se non spiegata bene può esser davvero poco chiara...
