Come usare il file robots.txt per escludere pagine non più esistenti.

[oncm]

Ciao a tutti.
Ho cancellato il mio vecchio Sito che era statico (solo file html) e ho cambiato pure hoster ma ho mantenuto il
dominio. Adesso ho messo joomla lo ho impostato ed è ripartito alla grande.

Adesso desidero escludere dai motori di ricerca tutte le pagine non più esistenti che mi danno errore 404 (non usando il redirect di joomla, visto che le desidero cancellare).

usando i webmaster tools e il file robots.txt mi sorge un dubbio sul file robots.txt

Ho installato joomla in una sottocartella

www.miosito.ext/cartelladiinstallazione/

Ho spostato robots.txt nella root.

Per i vecchi file precedenti (esempio: www.miosito.ext/contatti.html)
come devo impostare il file robots.txt ?

Disallow: /contatti.html

o

Disallow: /cartelladiinstallazione/contatti.html

Mi sorge un dubbio, a causa che ho impostato sul lato server un redirect permanente da www.miosito.ext a www.miosito.ext/cartelladiinstallazione

 

[ZioPal]

Ciao oncm,
onestamente mi hai fatto venire il dubbio amche se protenderei per la seconda.

Non capisco però due cose, perché hai sposotato il file robots.txt se il sito è nella cartella e perché non vuoi fare dei redirect che è in assoluto il modo migliore di gestire gli errori 404.

Maurizio ZioPal

 

[oncm]

Ciao ZioPal.

Avevo aperto un altro Topic dove chiedevo quale era la miglior soluzione per il mio problema, quindi mi sono tenuto nella sezione SEO al minimo possibile per spiegare tutto ciò.

Allora, no, il sito adesso è in una sottocartella.

Attualmente: www.miosito.ext/cartelladiinstallazione/

Il vecchio Sito che era statico, solo con file *.html era nella root

Vecchi: www.miosito.ext/index.html - ... contatti.html

Adesso ho installato Joomla cancellando tutto. Ho cambiato anche hoster.
A causa che ho adesso joomla attivo, però in una sottocartella, e desidero cancellare tutto che era vecchio, quindi non creare redirect per mantenere i vecchi risultati deviandoli con i 301.... non sono sicuro come impostare il robots.txt    In google ho già chiesto la rimozione dei vecchi file in html, però per altri motori di ricerca uso il robots.txt.

Visto però, che uso un 301 principale, per deviare il mio dominio nella sottocartella, non sono sicuro come creare i disallow. Con o senza sottocartella.

Disallow: /cartelladijoomla/vecchifile.html
o
Disallow: /vecchifile.html    a causa che c'è il redirect principale da www.miosito.ext a www.miosito.ext/cartelladijoomla
Grazie per ogni dritta.

[ZioPal]

Ciao oncm,
io ho il dubbio che se sposti il file robots.txt dalla cartella con il sito questo non venga proprio preso in considerazione.

Prova a toglierlo completamente dalla cartelladiinstallazione o comunque a mettercene uno diverso, poi verifica da webmaster tools cosa sta leggendo.

Maurizio ZioPal

[oncm]

Ciao.

Io lo ho spostato, perchè proprio il file robots che viene creato al interno della cartella di joomla lo richiede.

Vedi:

If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/

Questo lo trovi direttamente al interno del file robots.
Infatti, al interno di webmaster Tools, legge solo il root, www.miosito.ext

Ho fatto la prova ed infatti google subito mi ha detto che non trova niente e di provare di inserire il root del sito, quindi www.miosito.ext invece di www.miosito.ext/joomla.....

[rezor]

Hai delle url indicizzate sui motori di ricerca e questo è un valore.
Disallow dai robots verrà completamente ignorato se le pagine non hanno un tag meta robots, e spesso anche se ce l'hanno.

Se tu crei un bel redirect statico dall'.htaccess (301) hai ben due vantaggi:

1. Il traffico dei motori di ricerca continua a scorrere
2. non rischi penalizzazioni per pagine inesistenti
3. entro un paio di mesi i vecchi url spariscono a favore dei nuovi. A volte prima.

Se hai bisogno di altre motivazioni potrei continuare, spero sia sufficiente questo però. Lascia perdere il robots è al più un'indicazione per i motori di ricerca.

[oncm]

Ciao Rezor.

Quindi mi dici di creare per ogni sito non più esistente un redirect 301 sul nuovo sito,ovviamente creando il
relativo contenuto? 

(Esempio www.miosito.ext/contatti.html vecchio)
(nuovo miosito.ext/index.php?option=com_content...........)

e questo per ogni file vecchio che non esiste più? Chiedo cosi precisamente perché avevo cercato una soluzione chiedendo in un altro topic la se la mia soluzione ( di creare una redirect 301 per tutte le pagine inesistenti che deviano tutte su la mia pagina principale). Mi è stato detto che questo mi penalizza comunque, perché tutti i redirect avranno lo stesso contenuto.

Quindi una nuova pagina su joomla per ogni pagina vecchia?

Che lavoraccio 

----
Comunque oggi già non trovo più su google le pagine inesistenti.
Visto che non ho ancora contenuto su joomla, mi pareva una soluzione ottima.

[oncm]

Mi confondo con tutte le informazioni esistenti su google.

Il mio problema era solo di capire come ricreando il mio sito da un Sito statico con solo file *.html a joomla.

Esempio:
www.miosito.ext/index.html
www.miosito.ext/contatti.html
www.miosito.ext/speciali/index.html
etc......

a Joomla  www.miosito.ext/sito/

Configurando bene tutto per non perdere troppo posti su google utilizzando i strumenti per webmaster.
Per prima cosa ho creato nel file .htaccess un redirect 301 per deviare www.miosito.ext a www.miosito.ext/sito/

e adesso stavo cercando la soluzione ottimale per risolvere il problema con tutte le pagine ovviamente non più esistenti. Ho lasciato il mio dominio e ho spostato tutto su un nuovo hoster.

[rezor]

Beh ci saranno ben contenuti in comune... una form contatti immagino ci sia anche sul sito nuovo e così per la maggior parte dei contenuti; quelli che decidi di abbandonare puoi lasciare che diano un 404, entro breve spariscono oppure puoi richiederne manualmente la rimozione dai webmasters tools.

[rezor]

Comunque per darti una misura, ho appena dovuto fare un cambio pesante di url sul mio sito (dopo che al jed mi hanno detto che "Swiss Army Knife" è un marchio registrato e non potevo chiamare così il mio componente!), ma usando dei 301 (fatti con ****, non con .htaccess per facilità) ho reindirizzato il tutto e senza difficoltà, al momento non ho penalizzazioni da parte di google.

edited by tt8: rimosso rifrimento commerciale.

[oncm]

Certo che ti do ragione che i 301 sono i migliori per fare un operazione del genere. Ma visto che ancora non mi sono puntato di creare subito più o meno i stessi contenuti di prima su joomla, non volevo rischiare una penalizzazione diretta con le pagine non più esistenti, quindi ho scelto la soluzione più veloce con i robot, che sembra che già funziona visto che non le trovo più su google. Ho chiesto la rimozione delle pagine.

Adesso comincio a creare nuovi contenuti e il nuovo sito joomla con il mio vecchio dominio dovrebbe partire.