[RISOLTO] Google si popola di miei link STRANI

[eliasambo]

Salve a tutti,

google sta inserendo nel motore una versione dei link al mio sito che io non ho mai creato:

Esempio: https://www.aleco.it/it/entrance/area/30  (30 corrisponde a ID articolo...ma entrance/area? cosè?).

sul sitemap ho messo un indirizzo differente, questo lo stesso indirizzo come creato da me:
https://www.aleco.it/it/impianti-per-videoispezioni/telecamere-ispezioni-televisive-kanres/pannello-controllo.html


Grazie se qualcuno sa dirmi come evitare questo comportamento...

Buona giornata

[danielecr]

Ciao,
il perchè google abbia indicizzato un link del genere non lo so, ma ho avuto più o meno lo stesso problema, di url "non esistenti" che puntavano a link esistenti: puoi leggere qui:
http://forum.joomla.it/index.php/topic,266510.msg1242367.html#msg1242367

Per esempio il fatto che tu abbia:
https://www.aleco.it/it/entrance/area/30

Oppure:
https://www.aleco.it/it/ciaociao/quellochevoglio/30ciaociao

Entrambi punteranno all'articolo con id 30, invece che darti una error page 404.

Ti conviene innanzitutto se non lo hai già fatto registrati a google webmaster, verificare il tuo sito e poi analizzare la search console, in particolare la parte dei "miglioramenti html" in cui dovresti vedere i link che hanno title e meta descrizioni duplicate (già, perchè il fatto di avere questi strani link indicizzati porta alla duplicazione dei contenuti).
Identificati i link farlocchi puoi operare in 2 modi:

1- cambi da database l'id degli articoli in questione e dei menu collegati, e gli assegni un id univoco che non sia di quelli che google ha nella sua serp, poi dalla search console usi lo strumento di rimozione url per rimuovere gli indirizzi farlocchi (che ora restituiranno un errore 404)

2- molto più semplice, e consiglio questa soluzione, sempre che tu non abbia problemi di compatibilità, switchi sul router sperimentale con rimozione id, in questo modo tutti quei link restituiranno errore 404, poi utilizzi sempre la search console e lo strumento di rimozione url.
NB: questo lo puoi fare perchè hai url sef, già senza id: se avessi avuto gli id nelle url indicizzati fare lo switch sarebbe stata una mezza catastrofe per l'indicizzazione.

[$Red]

Ciao, se google li trova significa che c'è qualcosa che li genera, qualche plugin o altro, secondo sucury il sito potrebbe essere compromesso e, sempre secondo sucury, già inserito nella blacklist di norton, qui il risultato della scansione, ho provato a visualizzare la sitemap digitando vari link sitemap.xml ma non sono riuscito a visualizzarla come l'hai creata?

[eliasambo]

innanzitutto grazie per le risposte!

Ciao danielecr:

1)su google webmaster avevo inserito come proprietà del sito sia
- http://www.aleco.it   che
- https://www.aleco.it
siccome adesso il sito è solo https in questo momento ho cancellato la proprietà "http", anche se nn so se possa essere questa configurazione ad aver generato la duplicazione dei links

2) Su Google webmaster "miglioramenti html" ho varie pagine con "Meta descrizioni duplicate". A questo punto provvedo a fare le dovute modifiche!

3) Scusami...ma cosa vuol dire "switchi sul router sperimentale con rimozione id"?


Per $Red

1) l'allert di Sucury è vecchio! E' vero che il sito alcuni mesi fa (su joomla 2.5) era stato hackerato...in conseguenza di ciò google aveva segnato alcune directory e pagine come compromesse e diramato l'allert. Nel frattempo ho rifatto tutto il sito e google, dopo la verifica ha ritirato l'allert giudicando il sito sicuro. Ora OK http://www.isithacked.com/check/https%3A%2F%2Fwww.aleco.it

2) La sitemap non è xml ma sitemap.txt, già caricata su google webmaster che l'ha giudicata esente da errori

[eliasambo]

per danielecr:

in verità non ci sono pagine con meta descrizioni duplicate, nel senso che solo su
pannello > configurazione globale > Impostazioni Metadata > descrizione del sito, ho scritto una descrizione del sito.
Può secondo te questa descrizione generare una duplicazione che google giudica problematica?

Mi rispondo da solo: SI!

[danielecr]

1)su google webmaster avevo inserito come proprietà del sito sia
- http://www.aleco.it   che
- https://www.aleco.it
siccome adesso il sito è solo https in questo momento ho cancellato la proprietà "http", anche se nn so se possa essere questa configurazione ad aver generato la duplicazione dei links

Si, dovrebbe bastare l'https, anche perchè l'http è reindirizzato a https.

2) Su Google webmaster "miglioramenti html" ho varie pagine con "Meta descrizioni duplicate". A questo punto provvedo a fare le dovute modifiche!

In alternativa, per trovare tutti i link farlocchi, apri per esempio da firefox una nuova finestra anonima (navigazione anonima), vai su google e come stringa di ricerca metti "site:www.aleco.it" senza virgolette; google ti restituisce tutte le tue pagine indicizzate, puoi guardare lì eventuali url farlocchi, che inserirari polli nella search console nello strumento "rimozione url".

3) Scusami...ma cosa vuol dire "switchi sul router sperimentale con rimozione id"?

Dal backened di joomla:
Contenuti-->articoli-->opzioni-->tab integrazione-->Routing url lo imposti su Sperimentale e poi Rimuovi id dagli url "si"
Testa però il sito, se riscontri anomalie puoi sempre tornare al router standard.

[danielecr]

Riguardo alla sicurezza, da un'ispezione molto veloce, non ho trovato cose strane.
Sucuri di solito dà i payload quando trova qualcosa, in questo caso forse lo mette come critico perchè è nella blacklist di norton, ma se guardo il report di norton dà un indirizzo di phishing ancora in http.
Se guardo su google vedo però aleco.it/news e molti altri url con scritte cinesi, la copia della cache è del 15 settembre 2017: ora la domanda è: il sito nuovo l'hai fatto dopo il 15 settembre o comunque dopo fine settembre?

[danielecr]

Un altro consiglio: credo che tu abbia fatto un articolo personalizzato per l'errore 404.
Attenzione, perchè se metto un indirizzo che non esiste ho prima un redirect 301, verso la pagina dell'articolo (e non viene mai ritornato un errore 404!).
Ecco, google fa fatica a capire! perchè vede il 301, la pagina dovrebbe ritornare da subito l'errore 404.
Sul mio sito infatti ho modificato direttamente la pagina error.php del template in modo che risponda subito con il 404.

[eliasambo]

Il sito nuovo è online dal 18 Ottobre 2017.

Per informazione: Il primi di settembre il sito era stato hackerato ed era incominciata attività di phishing (ero in vacanza). I gestori del server se ne sono accorti il giorno 7 e hanno bloccato la mia parte di hosting condiviso (Denied Access). Il giorno 15 Settembre il vecchio sito non c'era più! Ora quel sito non esiste proprio più, ciò che è rimasto sono i links su google del sistema di phishing messo in atto.

Ho visto i links farlocchi rimasti su google, già li conoscevo vedendoli sul backand REDIRECT di joomla. Certo vederli tutti  insieme elencati mi fa  impressione.

Ho fatto come m hai detto, adesso con il Routing sperimentale i link anomali tipo /entrance/area/30 ecct rimandano alla pagina errore 404.

Davvero...GRAZIE PER L'AIUTO!

[danielecr]

2) La sitemap non è xml ma sitemap.txt, già caricata su google webmaster che l'ha giudicata esente da errori

Rifarei anche la sitemap in .xml, ci sono generatori online che la fanno in automatico se non vuoi instalarti estensioni aggiuntive.
La sitemap txt che hai è solo un elenco di link, che a google può andar bene, ma agli altri motori di ricerca?Non tutti usano google!

[eliasambo]

mi sa che ora tolgo i redirect 301 in modo che si veda direttamente il 404!

Hai perfettamente ragione, provvederò a generare un sitemap.xml

[danielecr]

in modo che si veda direttamente il 404!

Più che "vedersi" fisicamente la pagina non trovata, è l'http status code che deve essere da subito, o comunque alla fine, 404 per una pagina non esistente.
Puoi usare ad es questo servizio
https://httpstatus.io/

Per vedere il tragitto degli stati.

[eliasambo]

infatti anche io avevo modificato la error.php del template

Codice: [Seleziona]


if (($this->error->getCode()) == '404') {
header('Location: /index.php?option=com_content&view=article&id=113');
exit;
}


ma se faccio un test su https://httpstatus.io/ mettendo il link di una pagina che non esiste mi risponde

Status Code
302 --> 301 --> 200

[danielecr]

Già, non va bene, almeno per me..
header() produce appunto un redirect e non si vede lo status code 404.
All'inizio avevo fatto un articolo ad hoc per la pagina 404 e inserito header() nell'error.php, proprio come hai fatto tu, ma avevo esattamente questo problema, per cui ho integrato direttamente in error.php il sorgente dell'articolo e richiamato i moduli che intendevo visualizzare nella pagina di errore, penso tu possa fare altrettanto!

[eliasambo]

Ok. Mi sa che su questa cosa ci penserò un po su.

Grazie per avermelo fatto notare. Anzi, grazie per avermi fatto notare un SACCO DI COSE 


a questo punto metto [RISOLTO] Grazie
 

[eliasambo]

Al momento per la pagina 404 ho trovato questa soluzione:
da https://forum.joomla.org/viewtopic.php?t=688928

in /templateITALIANO/error.php sostituito

Codice: [Seleziona]


if (($this->error->getCode()) == '404') {
header('Location: /index.php?option=com_content&view=article&id=113');
exit;
}


con

Codice: [Seleziona]

if (($this->error->getCode()) == '404') {
header("HTTP/1.0 404 Not Found");
echo file_get_contents(JURI::root().'/index.php?option=com_content&view=article&id=113');
exit;
}


se testo su https://httpstatus.io/ viene reso errore 404!

Non è una soluzione elegante nel senso che su un sito multilingua, con pagine errore diverse non funziona (nella parte inglese del sito viene fuori una pagina bianca)

Per ovviare devo mettere lo stesso identico codice del templateITALIANO/error.php anche templateINGLESE/error.php in inglese (con stesso indirizzo di pagina errore per entrambe le lingue).... le pagina errore sarà sempre la stessa sia che uno ci acceda dalla parte italiana che inglese del sito. Dico sembra confuso ma se fate un test sul mio sito vedete cosa succede.

Così facendo le pagine errore sono riconosciute definitivamente come 404
Probabilmente farò una pagina errore uguale per entrambe le lingue

Magari con redirect sulla home

[danielecr]

mmm..hai provato a fare 2 articoli di errore uno assegnato alla lingua it, l'altra per la lingua en.
Poi nell'error puoi aggiungere questo codice php dopo la riga dell'header, per redirigere verso l'una o l'altra pagina:

Codice: [Seleziona]

$lang = JFactory::getLanguage();
$result = $lang->getTag();
if ($result=="it-IT") {
echo file_get_contents(JURI::root().'/index.php?option=com_content&view=article&id=113');
}
else {
qua metti il link inglese;
}


Non mettere nessun redirect, al massimo metti un link alla home, o richiama il main menu nell'error.php

[eliasambo]

ho scoperto qual'era il link corretto alle due pagine 

en/?view=article&id=114:404 per inglese
it/?view=article&id=114:404 per italiano


MOMENTO DI GRAN FELICITA'

Grazie per il sostegno danielecr. Da poco ti conosco e già incomincio a volerti bene   

[danielecr]

Ottimo, mi sembra funzioni a dovere.
Ora google dovrebbe riuscire a fare un po di pulizia tra i suoi risultati, ma ci vuole un po di tempo.