impedire indicizzazione dei banner

[sgiobbio]

Generando online la sitemap del sito, ho notato che il file xml finale contiene link a siti esterni generati dai miei banner pubblicitari.
E' possibile marcare con "noindex no follow" i banner del proprio sito?
Oppure aggiungere delle istruzioni specifiche in robots.txt?

[giusebos]

elimina quei link oppure usa estensione specifica per creare le sitemap dove potrai impostare cosa inserire nella sitemap.

[sgiobbio]

Grazie Giusebos per la tua risposta.
In linea generale, preferirei evitare di installare una estensione apposita che faccia qualcosa che potrei fare da solo.
Per esempio, se si trattasse di fare l'override di un file aggiungendo una riga di codice (magari rel="nofollow" in default.php nella cartella modules>mod_banners>tmpl), perché delegare quel compito a un'estensione aggiuntiva?
Oppure aggiungendo Disallow: /mod_banners nel file robots.txt ...
Secondo te una delle 2 strade che ho indicato è praticabile?

[giusebos]

sitemap.xml e robots.txt sono 2 cose diverse

La sitemap esplicita a Google la gerarchia delle pagine di un sito, aiutando i crawler a comprendere l’organizzazione dei contenuti.

Il file robots.txt, invece, fornisce ai crawler dei motori di ricerca informazioni atte principalmente ad impedire l'indicizzazione di determinati contenuti che è necessario avere sul sito ma non si desidera mostrare tra i risultati di ricerca (ad esempio la pagina della privacy policy o quella di login).

[sgiobbio]

ok, sitemap.xml e robots.txt sono 2 cose diverse.
Però con entrambi posso aiutare i crawler a capire che cosa indicizzare e cosa no.
Nella domanda in oggetto, chiedo come fare a non far seguire determinati link ai crawler, nello specifico i link presenti nei banner.
Nella tua prima risposta mi hai scritto di eliminare i link dai banner.
Benissimo, si può fare... Però c'è un motivo se ho messo dei link nei banner, e mi piacerebbe lasciarli.
C'è un modo per istruire i bot a non seguire quei link?
In Component>Banner non c'è nessuna casella per inserire un semplicissimo "noindex no follow".
Mi dirai: elimina quei link dalla sitemap prima di inviarla: ne ho contati 268, forse perché il crawler è sceso in profondità...
Quindi a mano non sono eliminabili, occorre un sistema automatico.

[giusebos]

il non poter inserire no-follow no-index forse è una limitazione di quell'antico componente che purtroppo è ancora presente in joomla.

credo che se usi un componente per gestire i banner potresti usare un componente come OSmapfree per gestire la sitemap, daltro canto nel file robots la cartella componente è su disallow, quindi a meno che non abbini una voce di menù per banner impostandola su no-index no-follow non saprei come fare.

[sgiobbio]

In realtà ho sempre utilizzato OsMap Free ma questa volta il sito è joomla4 e OsMap non è ancora compatibile...
Lo so che che è una follia l'essere passato a joomla4 con un sito di produzione, ma sono mesi che lo utilizzo e mi sembra assolutamente stabile. Dovessero insorgere problemi gravi, l'equivalente joomla3 è ripubblicabile in pochi passi.
Detto questo, ora conosci il motivo per cui ho gestito la sitemap da un sito sitemap generator.
Non ho capito che cosa intendi con "abbinare una voce di menù per banner".
Potresti spiegarmi come? Potrebbe essere la soluzione, ma non mi pare che esistano tipi di menu per banner o per moduli...

PS: "l'antico componente" in cui non si può inserire no-follow e no-index è rimasto tale anche in joomla4...

[giusebos]

PS: "l'antico componente" in cui non si può inserire no-follow e no-index è rimasto tale anche in joomla4...

purtroppo.
bisognerebbe capire perchè lo usi e in che ambito, spesso si usa quel componente per altro lasciando perdere il contatore, i clienti, i marchi.....

per la voce di menù mi sembra se non ricordo male che in gestione menù si potesse creare un link direttamente al banner, ma non so se faccio confusione con un altro componente simile che ha questa funzione.

[sgiobbio]

Per il momento mi sono arrangiato rimuovendo i link dai banner, e in questo modo la sitemap risultante è "pulita".
Comunque grazie a Giusebos sia per l'attenzione che mi ha dedicato sia per le suggestioni fornite.

Se poi a qualcuno venisse in mente come escludere i banner dalla scansione dei bots, resto all'ascolto...

[sgiobbio]

Forse ho trovato la soluzione: in Componenti>Banners>Categories" c'è il campo con le opzioni "Metadata" tra cui "Robots".

Non l'avrei mai trovato perché mi sembra cervellotico inserire l'opzione in "Categorie" dei Banner e non direttamente in Banners.

Ci sono arrivato soltanto perché a furia di cercare in Google mi è saltato fuori l'articolo https://www.joomla.it/invia-articolo/218-help-3x/help-joomla-3/6878-componentsbannerscategoriesedit.html  (in inglese)
Siccome ciascun banner appartiene a una categoria, il problema dovrebbe essere risolto.
Prima di mettere Risolto nel titolo, aspetto di provare ad effettuare una nuova scansione del sito per ricavarne una Sitemap e di averla esaminata.

Spero che questo possa essere utile a chiunque abbia sperimentato lo stesso problema.

[sgiobbio]

Aggiornamento del giorno dopo:

ho fatto bene a non mettere [Risolto] perché i bot seguono ancora i link dei banner anche se adesso il Componente>Banner>Categorie è settato su Robots: no-index, no-follow

Misteri del codice_sorgente-questo-sconosciuto...

Lascio aperto il thread sperando che qualcuno riesca a capirci qualcosa

[tomtomeight]

Magari devi aspettare che i bot ripassino e cambiano le indicazioni vecchie con le nuove.

[sgiobbio]

tomtomeight, generando online la sitemap ho il risultato immediato: mi basta esaminare il file xml generato e vedo se sono presenti o no i link esterni che derivano dai banner

[tomtomeight]

La sitemap la generi subito ma i bot non passano subito.

[sgiobbio]

tomtomeight forse mi sfugge qualche cosa: ok che i bot non passano subito, ma se genero con un servizio esterno (che sostanzialmente è un bot) un file sitemap.xml da caricare nella root del sito, lo apro con l'editor Notepad++ e dentro ci vedo dei link che non appartengono al mio sito ma al sito del cliente del banner ospitato sul mio sito, che cosa significa?
A me sembra che voglia dire che la marcatura "no-index, no-follow" non abbia funzionato. O no?

[tomtomeight]

Ho capito male, ma avevi detto che i bot seguono ancora ... e mi era sembrato di aver capito che avevi eliminato i link che non vuoi siano seguiti.