Bloccare determinate richieste url da spammer

[mau_develop]

... a me continua a sembrare strana qs cosa:
% Information related to '80.239.242.0 - 80.239.243.255'

inetnum:        n - 80.239.243.255
netname:        OPERA
descr:          Opera Software ASA
org:            ORG-OSA24-RIPE
country:        PL
admin-c:        OS2144-RIPE
tech-c:         OS2144-RIPE
status:         ASSIGNED PA
mnt-by:         TELIANET-LIR
source:         RIPE # Filtered

organisation:   ORG-OSA24-RIPE
org-name:       Opera Software ASA
org-type:       OTHER
address:        Waldemar Thranes gate 98
address:        N-0175 Oslo
address:        Norway
phone:          +47 24 16 40 00
admin-c:        JSvT2-RIPE
tech-c:         JSvT2-RIPE
abuse-mailbox:  abuse@opera.com
mnt-by:         TELIANET-LIR
mnt-ref:        TELIANET-LIR
source:         RIPE # Filtered

role:           Opera Sysadmin
address:        Waldemar Thranes gate 98
address:        N-0175 Oslo
address:        Norway
abuse-mailbox:  abuse@opera.com
remarks:        Please send any reports regarding abuse to abuse@opera.com
admin-c:        CE1175-RIPE
tech-c:         CE1175-RIPE
nic-hdl:        OS2144-RIPE
source:         RIPE # Filtered

non è che per caso hai qualche servizio di statistiche? ... awstats?

M.

[gheffo]

Ok ti ringrazio, adesso provo a dare un'occhiata al log e vedere se me li blocca!
Grazie dell'aiuto!

[mmleoni]

ciao a tutti,
in effetti sarebbe più ortodosso usare <Directory 'path/alla/root'> che <files> per questioni di efficienza, ma funziona lo stesso.

ps: non mettere la net mask, anche perché è sbagliata: per un singolo ip deve essere /32 non /31.

ciao,
marco

[gheffo]

ciao a tutti,
in effetti sarebbe più ortodosso usare <Directory 'path/alla/root'> che <files> per questioni di efficienza, ma funziona lo stesso.

ps: non mettere la net mask, anche perché è sbagliata: per un singolo ip deve essere /32 non /31.

ciao,
marco

Ovvero? Come faresti tu? Mi potresti spiegare meglio?
Effettivamente come ho già detto che loro fanno riferimento a root/css/nuditst.html per esempio...
In quanto hanno tutte in comune la richiesta della directory css potrei bloccarli inserendo come paramentro proprio css?

[gheffo]

... a me continua a sembrare strana qs cosa:
% Information related to '80.239.242.0 - 80.239.243.255'

inetnum:        n - 80.239.243.255
netname:        OPERA
descr:          Opera Software ASA
org:            ORG-OSA24-RIPE
country:        PL
admin-c:        OS2144-RIPE
tech-c:         OS2144-RIPE
status:         ASSIGNED PA
mnt-by:         TELIANET-LIR
source:         RIPE # Filtered

organisation:   ORG-OSA24-RIPE
org-name:       Opera Software ASA
org-type:       OTHER
address:        Waldemar Thranes gate 98
address:        N-0175 Oslo
address:        Norway
phone:          +47 24 16 40 00
admin-c:        JSvT2-RIPE
tech-c:         JSvT2-RIPE
abuse-mailbox:  abuse@opera.com
mnt-by:         TELIANET-LIR
mnt-ref:        TELIANET-LIR
source:         RIPE # Filtered

role:           Opera Sysadmin
address:        Waldemar Thranes gate 98
address:        N-0175 Oslo
address:        Norway
abuse-mailbox:  abuse@opera.com
remarks:        Please send any reports regarding abuse to abuse@opera.com
admin-c:        CE1175-RIPE
tech-c:         CE1175-RIPE
nic-hdl:        OS2144-RIPE
source:         RIPE # Filtered

non è che per caso hai qualche servizio di statistiche? ... awstats?

M.

Ho awstats a livello di pannello dominio, su joomla ho solo google analytics ma mi dava la stessa cosa anche quando ero in un altro host che non aveva awstats.
Il bello è che molto richieste hanno come refferral Yandex
E la cosa mi sembra molto strana...

[gheffo]

Eccovi postati gli ip che ho trovato maggiormente in questi giorni:

#blocco spam "css"
order allow,deny
deny from 46.56.216.71
deny from 80.239.243.59
deny from 70.86.98.202
deny from 80.239.242.45
allow from all
#blocco spam "css"

[mmleoni]

ho letto un po' velocemente,
 ma mi pare che abbiate sbagliato l'approccio: la prima cosa da capire è perché vengono riportati degli errori nel webmaster tool. cerca che non ci siano link a quelle pagine nel sito o non sia indicata una site map in robots.txt.

se le pagine non ci sono, deve essere restituito il codice http 404, in modo che le pagine siano eliminate dagli indici dei motori di ricerca. quindi prima di bloccare gli ip, cosa che per altro non serve praticamente a niente nella quasi totalità dei casi, verifica su ripe.net a chi appartenga il gruppo di indirizzi.

comincia da questa analisi.

ciao,
marco

[gheffo]

ho letto un po' velocemente,
 ma mi pare che abbiate sbagliato l'approccio: la prima cosa da capire è perché vengono riportati degli errori nel webmaster tool. cerca che non ci siano link a quelle pagine nel sito o non sia indicata una site map in robots.txt.

se le pagine non ci sono, deve essere restituito il codice http 404, in modo che le pagine siano eliminate dagli indici dei motori di ricerca. quindi prima di bloccare gli ip, cosa che per altro non serve praticamente a niente nella quasi totalità dei casi, verifica su ripe.net a chi appartenga il gruppo di indirizzi.

comincia da questa analisi.

ciao,
marco

Grazie della risposta, ho guardato su ripe.net e gli indirizzi fanno riferimento a siti russi sconosciuti, dal log server ho visto che molti mi arrivarano come referral da Yandex.ru, secondo te cosa vuol dire?
La sitemap è ok, e il mio sito restituisce 404 correttamente, inoltre ho bloccato con robots.txt la directory root/css (che tra l'altro nemmeno esite). Sinceramente non so come bloccare questo spam in quanto cambiano ip continuamente, io appunto volevo usare la stringa css per intercettarli

[mmleoni]

cortesemente non citare ogni volta la risposta precedente.

come detto il blocco degli ip non serve quasi mai a nulla. yandex.ru è uno dei più famosi motori russi, e da capire sarebbe come ci sei finito dentro, anche se è facile ipotizzare che la cosa dipende dall' hacking subito.
la cosa migliore è lasciare che i motori indicizzino nuovamente il sito; per quanto riguarda google,la schermata iniziale di webmaster tools indica che le  pagine sono lincate da qualche parte del sito od in una site map, puoi procedere a chiedere la rimozione degli url incriminati direttamente. non penso che impedire l'accesso ai motori a /css sia una buona cosa, quindi io toglierei il blocco da robots.txt.

per il resto serve solo pazienza.

ps: non puoi bloccare l'accesso alla cartella css tramite .htaccess indiscriminatamente se no non verrebbero caricati i css.

ciao,
marco

[gheffo]

Ho provato vari metodi ma non funziona niente, qui adesso siamo sulle 100 pagine 404 al giorno e inoltre mi stanno inquinando tutte le statistiche, posto il log del server in cui evidenzio il problema

119.235.237.18 - - [02/Mar/2011:03:06:39 +0100] "GET /robots.txt HTTP/1.1" 200 713 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
119.235.237.18 - - [02/Mar/2011:03:06:40 +0100] "GET /css/ear-mites.html?check=1665ded9ada06c180566d04135ae0163 HTTP/1.1" 404 8612 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
119.235.237.19 - - [02/Mar/2011:03:09:59 +0100] "GET /css/clark-county-school-district.html?check=e9e3101cb4725daf126196e3261989df HTTP/1.1" 404 8631 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
119.235.237.92 - - [02/Mar/2011:03:10:24 +0100] "GET /css/marissa-tomei.html?check=6fbaeb05e3e593454a046781c9152814 HTTP/1.1" 404 8616 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
119.235.237.16 - - [02/Mar/2011:03:10:47 +0100] "GET /css/reno-nevada.html?check=3bbe87536535b208a588f76e8885e182 HTTP/1.1" 404 8614 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
119.235.237.92 - - [02/Mar/2011:03:11:15 +0100] "GET /css/online-woodworking-school.html HTTP/1.1" 404 8628 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
119.235.237.20 - - [02/Mar/2011:03:11:35 +0100] "GET /css/dell-desktop-computers-canada.html?check=61a8ba7f14a66c6cfde322e9ce3f792c HTTP/1.1" 404 8632 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
119.235.237.18 - - [02/Mar/2011:03:11:56 +0100] "GET /css/child-lover-bbs.html?check=07406193f6f3a216935460c6e7074283 HTTP/1.1" 404 8618 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
119.235.237.16 - - [02/Mar/2011:03:12:15 +0100] "GET /css/craigslist-helper.html?check=06dedc79b80d4f832a9715934c520f40 HTTP/1.1" 404 8620 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
119.235.237.19 - - [02/Mar/2011:03:12:35 +0100] "GET /css/lindy-hop.html?check=b5628c22b58d9e37ec3e8d76e2519d24 HTTP/1.1" 404 8612 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
119.235.237.17 - - [02/Mar/2011:03:12:55 +0100] "GET /css/dal-tile.html?check=f21fed5507e883f6276f4065d62f0e59 HTTP/1.1" 404 8612 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)

Ecco un altro esempio:

178.73.194.133 - - [02/Mar/2011:13:41:09 +0100] "GET /css/oral-annie.html HTTP/1.0" 404 8623  "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT) ::ELNSB50::000061100320025802a00111000000000507000 900000000"


77.88.40.209 - - [02/Mar/2011:08:59:00 +0100] "GET /css/northern-hydraulics.html HTTP/1.0" 404 8632 "-" "Yandex/1.01.001 (compatible; Win16; I)"

Ora si è aggiunto anche naver a Yandex e altri ip variabili, non posso bloccare quel comando GET che dalla root mi manda alla cartella CSS che ripeto non esiste nel mio server ma c'è solo dentro ad altre cartelle

[mau_develop]

mamma mia quanto è difficile...dopo tutti qs post nn ce l'ho ancora fatta. non puoi bloccare nulla!
Puoi sperare che mettendo una nuova site map dove quegli url non ci sono, piano piano vengano "dimenticati" dai motori.

chiunque può richiedere qualsiasi cosa quando vuole sul tuo sito.

M.

quel bot sta visitando il tuo sito come se una volta fosse stato infettato e ricerca degli url indicizzati