Mancata indicizzazione nuovi articoli

[WillerCT]

Salve ragazzi, da circa 2 giorni ho un problema. I nuovi articoli che creo non vengono indicizzati. Dato che ho smanettato un pò sul file robot per eliminare i tag title e le meta descrizioni duplicate, vorrei capire dove potrebbe essere la limitazione. Vi allego il file robot. Il sito è www.motorcyclechannel.it

# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /viewtopic.php?f=5&t=17&view=newest
Disallow: /viewtopic.php?f=5&t=13&view=next
Disallow: /passeggiata-rifugio-brunek-etna-t31-40.html
Disallow: /news/27-foto.html
Disallow: /post34.html
Disallow: /index.php/news/motogp/8-le-mans-la-pole-e-di-stoner
Disallow: /carl-fogarty-t29-31.html
Disallow: /post31.html
Disallow: /topic47.html
Disallow: /post44.html
Disallow: /topic58.html
Disallow: /post46.html
Disallow: /portal_pages.php?page=26
Disallow: /map.php?forum=39
Disallow: /index.php/news/17-ciao/eventi
Disallow: /index.php/news/13-ciao/novita
Disallow: /index.php/news/15-ciao/motogp
Disallow: /yamaha-yzf-r6-2004-t12-14.html
Disallow: /component/adsmanager/
Disallow: /albo-dei-richiami-t41.html
Disallow: /arcade.html
Disallow: /calendar.php
Disallow: /dm_video/showvideo.php?v=13&c=6
Disallow: /gli-adesivi-t30-33.html
Disallow: /map.php
Disallow: /portal/portal_bbcodes.php?first_char=y&first_char=z
Disallow: /portal_pages.php?page=10
Disallow: /post30.html
Disallow: /gymrss.php?forum=7&news
Disallow: /viewforum.php?f=33
Disallow: /portal_pages.php
Disallow: /news/road-races/156-tourist-trophy-dal-2012-il-ritorno-delle-supertwin.html?hitcount=0
Disallow: /index.php/news/notizie-motomondiale/145-gara-brno-stoner-si-ripete-vincendo-in-totale-solitudine.html
Disallow: /index.php/recensioni/16-spidi-rv-coupe.html
Disallow: /index.php/news/notizie-mondo-moto/149-muore-claudio-castiglioni-a-63-anni.html
Disallow: /index.php/news/
Disallow: /index.php/component/adsmanager/
Disallow: /news/14-ciao.html
Disallow: /news/news/notizie-mondo-moto/71-moto-morini-seconda-asta-a-meta-luglio.html
Disallow: /index.php/component/
Disallow: /portal/portal_bbcodes.php?sk=b&sd=d&first_char=t&first_char=a
Disallow: /viewforum.php?f=29&sid=1ed69f2cdd6cc25a8c02fce0def8fbfd
Disallow: /portal.php
Disallow: /portal/portal_bbcodes.php
Disallow: /ucp.php?mode=register&sid=1ed69f2cdd6cc25a8c02fce0def8fbfd
Disallow: /portal/portal_acronyms.php
Disallow: /video/130-video-50-anni-yamaha.html
Disallow: /viewforum.php?f=11
Disallow: /viewtopic.php?f=36&t=45&view=next
Disallow: /dm_video/postvideo.php?mode=new&c=1
Disallow: /index.php/news/motogp/12-yamaha-festeggia-i-50-anni-di-gp-con-una-nuova-livrea
Disallow: /index.php/news/notizie-motomondiale/12-yamaha-festeggia-i-50-anni-di-gp-con-una-nuova-livrea.html
Disallow: /annunci/15-enduro/cerca.html
Disallow: /annunci/56-bimota/cerca.html
Disallow: /annunci/65-gilera/cerca.html
Disallow: /annunci/71-hyosung/cerca.html
Disallow: /index.php/recensioni/16-spidi-rv-coupe.html
Disallow: /index.php/news/road-races
Disallow: /index.php/news/notizie-mondo-moto.html
Disallow: /news/notizie-mondo-moto/71-moto-morini-seconda-asta-a-meta-luglio.html
Disallow: /index.php?start=104
Disallow: /index.php?start=108
Disallow: /index.php?start=112
Disallow: /index.php?start=116
Disallow: /index.php?start=120
Disallow: /index.php?start=124
Disallow: /index.php?start=128
Disallow: /index.php?start=12
Disallow: /index.php?start=16
Disallow: /index.php?start=20
Disallow: /index.php?start=24
Disallow: /index.php?start=25
Disallow: /index.php?start=28
Disallow: /index.php?start=32
Disallow: /index.php?start=36
Disallow: /index.php?start=40
Disallow: /index.php?start=4
Disallow: /index.php?start=50
Disallow: /index.php?start=
Disallow: /viewtopic.php?f=47&t=69&view=next
Disallow: /viewtopic.php?f=47&t=67&view=next
Disallow: /annunci.html?start=
Disallow: /news/news/novita/66-nuove-benelli-tnt-899-e-tnt-1130-century-racer-2011.html
Disallow: /news/news/notizie-mondo-moto/71-moto-morini-seconda-asta-a-meta-luglio.html
Disallow: /component/users/?view=registration
Disallow: /component/users/?view=remind
Disallow: /component/users/?view=reset
Disallow: /news/31-home.html
Disallow: /news.html
Disallow: /news/notizie-mondo-moto.html?start=
Disallow: /news/notizie-motomondiale.html?start=
Disallow: /news/notizie-mondo-moto.html?start=
Disallow: /index.php/component/adsmanager/
Disallow: /video.html?start=
Disallow: /?start=
Disallow: /news/notizie-mondo-moto/20-una-nuova-imposta-potra-gravare-sulle-immatricolazioni-ei-passaggi-di-proprieta.html
Disallow: /news/novita/163-nuovo-casco-arai-doohan-tt-replica.html?hitcount=0
Disallow: /index.php
Disallow: /index.php?start=132
Disallow: /news/road-races.html?start=
Disallow: /index.php/news/novita/9-mv-agusta-f4-rr-corsacorta

[m.davide82]

Prova a pingare il tuo feed rss e vedi se ti li indicizza in un paio di ore.

[WillerCT]

Prova a pingare il tuo feed rss e vedi se ti li indicizza in un paio di ore.

dove lo pesco ? ...non sono molto pratico

[WillerCT]

Il problema potrebbe essere nel Disallow: /index.php . Secondo me limita la sitemap che ha il seguente url http://www.motorcyclechannel.it/index.php?option=com_xmap&view=xml&id=2
quindi potrebbe essere che il bot non la legge proprio ? Non so se sto dicendo eresie 

[m.davide82]

In teoria no... comunque per esserne certo, tira via tutti gli url non sef ed inserisci questo:

Disallow: /*?

Così gli dici di non indicizzare tutti gli articoli che contengono un ? nell'url.

Per "pingare un sito".... cerca su google! 

[WillerCT]

Ho fatto ciò che hai detto intorno alle 18:30 ma ancora gli url non sono indicizzati. ho notato che google ha trovato degli errori di scansione nella sitemap. Allego uno screenshot

[allegato vecchio più di un anno eliminato da un amministratore]

[m.davide82]

Però se metti robe del genere

Codice: [Seleziona]

Disallow: /index.php/news/17-ciao/eventi
Disallow: /index.php/news/13-ciao/novita
Disallow: /index.php/news/15-ciao/motogp

Non ti indicizza tutte le pagine sotto queste cartelle!

[WillerCT]

Però se metti robe del genere

Codice: [Seleziona]

Disallow: /index.php/news/17-ciao/eventi
Disallow: /index.php/news/13-ciao/novita
Disallow: /index.php/news/15-ciao/motogp

Non ti indicizza tutte le pagine sotto queste cartelle!

Si queste le ho bloccate appositamente...però mi domando che significa quel "rete non raggiungibile" accanto ad alcuni url, nello screenshot che ho allegato.

[WillerCT]

Allora...il problema sembra risolto. Nel robot indicando disallow: /index.php è stato bloccato tutto il sito, compresa la sitemap. Adesso tutto ok anche se l'indicizzazione dei nuovi articoli avviene dopo circa 10 ore nonostante il mio condividere l'url a destra e a manca...

[m.davide82]

Tempo al tempo!