Bloccare determinate richieste url da spammer

[gheffo]

Ciao a tutti,
sono nuovo del forum, intanto vi faccio i complimenti!
Qualche tempo fa il mio server è stato infettato da un file .xml che richiamava continuamente siti di spammer, molto simile ad un attacco DDoos.
Ogni giorno mi arrivano richiesta a www.miosito.it/css, cartella che ho già bloccato con il robot.txt, vorrei sapere se è possibile bloccare tramite .htaccess tutte le url che contengono la stringa "css" (in quanto io non la uso nel mio sito) ed evitare un sacco di errori 404 che poi anche il bot di google mi segnala su strumenti per webmaster.
Vorrei sapere se esiste un componente per joomla o una qualche opzione da configuare per far sì che non mi arrivo in continuazione errori 404 e bloccare l'url.

Vi allego anche un immagine chiarificatrice:

[56francesco]

ciao, versione di joomla?
ora siamo alla 1.5.22

[gheffo]

Ho la 1.5.22

Grazie della risposta

[mau_develop]

non capisco...

Qualche tempo fa il mio server è stato infettato da un file .xml che richiamava continuamente siti di spammer, molto simile ad un attacco DDoos.
------------------------------------------------------------------------------
sicuro di aver rimosso tutto il malware? solitamente sono bot che lasciano una key, molto simile a google verification oltre a tutto il resto descritto nell'articolo in testa a qs sezione.

Ogni giorno mi arrivano richiesta a www.miosito.it/css, cartella che ho già bloccato con il robot.txt, vorrei sapere se è possibile bloccare tramite .htaccess tutte le url che contengono la stringa "css" (in quanto io non la uso nel mio sito) ed evitare un sacco di errori 404 che poi anche il bot di google mi segnala su strumenti per webmaster.
-----------------------------------------------------------------------------------
a che pro? potrei chiamare anchi'io il tuo sito con una richiesta inesistente e tu troveresti un 404 in google webmaster

Vorrei sapere se esiste un componente per joomla o una qualche opzione da configuare per far sì che non mi arrivo in continuazione errori 404 e bloccare l'url.
-------------------------------------------------------------
perchè il tuo sito non usa css? ..ovvero tu non hai link a css?

ma infine qual'è il problema? i 404 in google webmaster? ti attaccano? si iscrivono? ...insomma perchè secondo te è dannoso quello che fanno?

M.

[gheffo]

Sì, il malware si era posizionato in un file .xml che ho bloccato e rinominato.
Nella mia installazione joomla non c'è una cartella css.
Inoltre le richieste mi arrivano non dal mio sito con estensione .eu ma da un redirect 301 che avevo fatto al dal mio vecchio sito con estensione .it.
Ora dato che uso l'htaccess per fare il redirect volevo inserire una riga di codice che bloccasse tutte le url che contenevano il testo "css"

[mau_develop]

Ora dato che uso l'htaccess per fare il redirect volevo inserire una riga di codice che bloccasse tutte le url che contenevano il testo "css"
------------------------------------------
ribadisco la domanda... a che pro?
..che lui non lo trovi perchè la cartella non ce l'hai o che tu glielo blocchi che differenza c'è?

M.

[gheffo]

Al pro che mi arrivano 400 richieste al giorno.
E penso proprio sia un bel pro.

[mau_develop]

si ma bloccarlo significa che ti arrivano ugualmente quelle 400 richieste solo che fai qualcosa (inutile) invece di non fare nulla.

1) 400 log in una giornata non sono nessun tipo di dos, ddos o altra roba simile ... quando iniziamo a parlare di 4.000.000 iniziamo a pensare anche a qs scopo.

2) Il massimo che puoi fare è appunto dirigerlo ad un errore ... lo stesso che accade adesso solo che lo fa joomla, con l'htaccess lo fa il server prima di caricare joomla ...in soldoni cambia poco

3) Se non trovare nulla servisse a farlo desistere lo avrebbe già fatto... è un bot e un bel giorno smetterà.

M.

[gheffo]

Grazie della risposta! Attenderò il bel giorno in cui il bot smetterà!

[mau_develop]

..si comunque ci sarebbero da capire tante cose...

Nella mia installazione joomla non c'è una cartella css.
---------------------------------------------------------------------------
...mi sembra veramente strano...magari non nella root ma dentro le cartelle sicuramente e magari è possibile (sicuramente) puntarla direttamente

Inoltre le richieste mi arrivano non dal mio sito con estensione .eu
-----------------------------------------------------------------------------------------
questa non la capisco... cioè sei tu che ti chiami?

ma da un redirect 301 che avevo fatto al dal mio vecchio sito con estensione .it.
----------------------------------------------------------------------------------------------------------
..o un tuo vecchio sito che chiama quello nuovo??

M.

[gheffo]

Nella root principale non ho una cartella css,
il motivo per cui voglio usare l'htaccess è che il malware era nel mio vecchio sito con estensione it, sito nel quale non c'era joomla ma semplici pagine in html.
Ora dato che ho un 301 da it a eu il redirect mi passa anche tutte le richeste del vecchio malware.
La mia idea era bloccare le richieste che vengono dal dominio .it e che contengono nell'indirizzo url la voce "css"
Soltanto che non conosco bene il linguaggio apache e non so farlo da me

[tomtomeight]

Ma dal vecchio dominio.it se hai un  .htaccess che ti redireziona al .eu, puoi anche cancellare tutte le pagine html e con loro il malware, se pensi sia questa l'origine.

[gheffo]

Non è il problema delle pagine, il problema è che questo malware richiama url al mio sito come "css/nudist.html","css/***.html" e anche se le pagine sono state rimosse continuano ad arrivare le richeste url che ora danno un 404.
Da analytics ho visto che vengono da Yandex (?) ma hanno tutte in comune il fatto che puntano ad un indirizzo che contiene sempre "css/".
Io voglio intercettare con l'htacess tutte le url che vengono dal dominio it contenenti "css" e bloccarle senza farle arrivare al domini eu.

[tomtomeight]

Puoi provare a capire se proviene dallo stesso ip in modo da bloccare direttamente questi.

[gheffo]

Ma esiste qualche tool con cui lo posso vedere?

[tomtomeight]

Devi leggere i log del server

[gheffo]

Grazie, ho trovato il log e le richieste sembrano venire tutte dallo stesso ip:
80.239.243.59

Ho inserito come prima riga dell'htaccess la seguente stringa:

order allow,deny
deny from 80.239.243.59
allow from all

E' corretta vero?

[tomtomeight]

Io blocco così

<Files *>
order allow,deny
allow from all
deny from 71.22.111.162/255.255.255.254
deny from 91.201.66.113/255.255.255.254
deny from 64.150.187.95/255.255.255.254
deny from 174.121.79.148/255.255.255.254
deny from 74.54.28.74/255.255.255.254
</Files>

[gheffo]

Perché usi "<files>"
E metti il gateway?

[tomtomeight]

Per file non saprei l'ho trovato cosi, quella non e' il gateway ma la subnet che serve per indicare un range di indirizzi, ma puoi anche ometterlo se l'ip e' uno solo.

[mau_develop]

... a me continua a sembrare strana qs cosa:
% Information related to '80.239.242.0 - 80.239.243.255'

inetnum:        n - 80.239.243.255
netname:        OPERA
descr:          Opera Software ASA
org:            ORG-OSA24-RIPE
country:        PL
admin-c:        OS2144-RIPE
tech-c:         OS2144-RIPE
status:         ASSIGNED PA
mnt-by:         TELIANET-LIR
source:         RIPE # Filtered

organisation:   ORG-OSA24-RIPE
org-name:       Opera Software ASA
org-type:       OTHER
address:        Waldemar Thranes gate 98
address:        N-0175 Oslo
address:        Norway
phone:          +47 24 16 40 00
admin-c:        JSvT2-RIPE
tech-c:         JSvT2-RIPE
abuse-mailbox:  abuse@opera.com
mnt-by:         TELIANET-LIR
mnt-ref:        TELIANET-LIR
source:         RIPE # Filtered

role:           Opera Sysadmin
address:        Waldemar Thranes gate 98
address:        N-0175 Oslo
address:        Norway
abuse-mailbox:  abuse@opera.com
remarks:        Please send any reports regarding abuse to abuse@opera.com
admin-c:        CE1175-RIPE
tech-c:         CE1175-RIPE
nic-hdl:        OS2144-RIPE
source:         RIPE # Filtered

non è che per caso hai qualche servizio di statistiche? ... awstats?

M.

[gheffo]

Ok ti ringrazio, adesso provo a dare un'occhiata al log e vedere se me li blocca!
Grazie dell'aiuto!

[mmleoni]

ciao a tutti,
in effetti sarebbe più ortodosso usare <Directory 'path/alla/root'> che <files> per questioni di efficienza, ma funziona lo stesso.

ps: non mettere la net mask, anche perché è sbagliata: per un singolo ip deve essere /32 non /31.

ciao,
marco

[gheffo]

ciao a tutti,
in effetti sarebbe più ortodosso usare <Directory 'path/alla/root'> che <files> per questioni di efficienza, ma funziona lo stesso.

ps: non mettere la net mask, anche perché è sbagliata: per un singolo ip deve essere /32 non /31.

ciao,
marco

Ovvero? Come faresti tu? Mi potresti spiegare meglio?
Effettivamente come ho già detto che loro fanno riferimento a root/css/nuditst.html per esempio...
In quanto hanno tutte in comune la richiesta della directory css potrei bloccarli inserendo come paramentro proprio css?

[gheffo]

... a me continua a sembrare strana qs cosa:
% Information related to '80.239.242.0 - 80.239.243.255'

inetnum:        n - 80.239.243.255
netname:        OPERA
descr:          Opera Software ASA
org:            ORG-OSA24-RIPE
country:        PL
admin-c:        OS2144-RIPE
tech-c:         OS2144-RIPE
status:         ASSIGNED PA
mnt-by:         TELIANET-LIR
source:         RIPE # Filtered

organisation:   ORG-OSA24-RIPE
org-name:       Opera Software ASA
org-type:       OTHER
address:        Waldemar Thranes gate 98
address:        N-0175 Oslo
address:        Norway
phone:          +47 24 16 40 00
admin-c:        JSvT2-RIPE
tech-c:         JSvT2-RIPE
abuse-mailbox:  abuse@opera.com
mnt-by:         TELIANET-LIR
mnt-ref:        TELIANET-LIR
source:         RIPE # Filtered

role:           Opera Sysadmin
address:        Waldemar Thranes gate 98
address:        N-0175 Oslo
address:        Norway
abuse-mailbox:  abuse@opera.com
remarks:        Please send any reports regarding abuse to abuse@opera.com
admin-c:        CE1175-RIPE
tech-c:         CE1175-RIPE
nic-hdl:        OS2144-RIPE
source:         RIPE # Filtered

non è che per caso hai qualche servizio di statistiche? ... awstats?

M.

Ho awstats a livello di pannello dominio, su joomla ho solo google analytics ma mi dava la stessa cosa anche quando ero in un altro host che non aveva awstats.
Il bello è che molto richieste hanno come refferral Yandex
E la cosa mi sembra molto strana...

[gheffo]

Eccovi postati gli ip che ho trovato maggiormente in questi giorni:

#blocco spam "css"
order allow,deny
deny from 46.56.216.71
deny from 80.239.243.59
deny from 70.86.98.202
deny from 80.239.242.45
allow from all
#blocco spam "css"

[mmleoni]

ho letto un po' velocemente,
 ma mi pare che abbiate sbagliato l'approccio: la prima cosa da capire è perché vengono riportati degli errori nel webmaster tool. cerca che non ci siano link a quelle pagine nel sito o non sia indicata una site map in robots.txt.

se le pagine non ci sono, deve essere restituito il codice http 404, in modo che le pagine siano eliminate dagli indici dei motori di ricerca. quindi prima di bloccare gli ip, cosa che per altro non serve praticamente a niente nella quasi totalità dei casi, verifica su ripe.net a chi appartenga il gruppo di indirizzi.

comincia da questa analisi.

ciao,
marco

[gheffo]

ho letto un po' velocemente,
 ma mi pare che abbiate sbagliato l'approccio: la prima cosa da capire è perché vengono riportati degli errori nel webmaster tool. cerca che non ci siano link a quelle pagine nel sito o non sia indicata una site map in robots.txt.

se le pagine non ci sono, deve essere restituito il codice http 404, in modo che le pagine siano eliminate dagli indici dei motori di ricerca. quindi prima di bloccare gli ip, cosa che per altro non serve praticamente a niente nella quasi totalità dei casi, verifica su ripe.net a chi appartenga il gruppo di indirizzi.

comincia da questa analisi.

ciao,
marco

Grazie della risposta, ho guardato su ripe.net e gli indirizzi fanno riferimento a siti russi sconosciuti, dal log server ho visto che molti mi arrivarano come referral da Yandex.ru, secondo te cosa vuol dire?
La sitemap è ok, e il mio sito restituisce 404 correttamente, inoltre ho bloccato con robots.txt la directory root/css (che tra l'altro nemmeno esite). Sinceramente non so come bloccare questo spam in quanto cambiano ip continuamente, io appunto volevo usare la stringa css per intercettarli

[mmleoni]

cortesemente non citare ogni volta la risposta precedente.

come detto il blocco degli ip non serve quasi mai a nulla. yandex.ru è uno dei più famosi motori russi, e da capire sarebbe come ci sei finito dentro, anche se è facile ipotizzare che la cosa dipende dall' hacking subito.
la cosa migliore è lasciare che i motori indicizzino nuovamente il sito; per quanto riguarda google,la schermata iniziale di webmaster tools indica che le  pagine sono lincate da qualche parte del sito od in una site map, puoi procedere a chiedere la rimozione degli url incriminati direttamente. non penso che impedire l'accesso ai motori a /css sia una buona cosa, quindi io toglierei il blocco da robots.txt.

per il resto serve solo pazienza.

ps: non puoi bloccare l'accesso alla cartella css tramite .htaccess indiscriminatamente se no non verrebbero caricati i css.

ciao,
marco

[gheffo]

Ho provato vari metodi ma non funziona niente, qui adesso siamo sulle 100 pagine 404 al giorno e inoltre mi stanno inquinando tutte le statistiche, posto il log del server in cui evidenzio il problema

119.235.237.18 - - [02/Mar/2011:03:06:39 +0100] "GET /robots.txt HTTP/1.1" 200 713 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
119.235.237.18 - - [02/Mar/2011:03:06:40 +0100] "GET /css/ear-mites.html?check=1665ded9ada06c180566d04135ae0163 HTTP/1.1" 404 8612 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
119.235.237.19 - - [02/Mar/2011:03:09:59 +0100] "GET /css/clark-county-school-district.html?check=e9e3101cb4725daf126196e3261989df HTTP/1.1" 404 8631 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
119.235.237.92 - - [02/Mar/2011:03:10:24 +0100] "GET /css/marissa-tomei.html?check=6fbaeb05e3e593454a046781c9152814 HTTP/1.1" 404 8616 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
119.235.237.16 - - [02/Mar/2011:03:10:47 +0100] "GET /css/reno-nevada.html?check=3bbe87536535b208a588f76e8885e182 HTTP/1.1" 404 8614 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
119.235.237.92 - - [02/Mar/2011:03:11:15 +0100] "GET /css/online-woodworking-school.html HTTP/1.1" 404 8628 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
119.235.237.20 - - [02/Mar/2011:03:11:35 +0100] "GET /css/dell-desktop-computers-canada.html?check=61a8ba7f14a66c6cfde322e9ce3f792c HTTP/1.1" 404 8632 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
119.235.237.18 - - [02/Mar/2011:03:11:56 +0100] "GET /css/child-lover-bbs.html?check=07406193f6f3a216935460c6e7074283 HTTP/1.1" 404 8618 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
119.235.237.16 - - [02/Mar/2011:03:12:15 +0100] "GET /css/craigslist-helper.html?check=06dedc79b80d4f832a9715934c520f40 HTTP/1.1" 404 8620 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
119.235.237.19 - - [02/Mar/2011:03:12:35 +0100] "GET /css/lindy-hop.html?check=b5628c22b58d9e37ec3e8d76e2519d24 HTTP/1.1" 404 8612 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
119.235.237.17 - - [02/Mar/2011:03:12:55 +0100] "GET /css/dal-tile.html?check=f21fed5507e883f6276f4065d62f0e59 HTTP/1.1" 404 8612 "-" "Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)

Ecco un altro esempio:

178.73.194.133 - - [02/Mar/2011:13:41:09 +0100] "GET /css/oral-annie.html HTTP/1.0" 404 8623  "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT) ::ELNSB50::000061100320025802a00111000000000507000 900000000"


77.88.40.209 - - [02/Mar/2011:08:59:00 +0100] "GET /css/northern-hydraulics.html HTTP/1.0" 404 8632 "-" "Yandex/1.01.001 (compatible; Win16; I)"

Ora si è aggiunto anche naver a Yandex e altri ip variabili, non posso bloccare quel comando GET che dalla root mi manda alla cartella CSS che ripeto non esiste nel mio server ma c'è solo dentro ad altre cartelle

[mau_develop]

mamma mia quanto è difficile...dopo tutti qs post nn ce l'ho ancora fatta. non puoi bloccare nulla!
Puoi sperare che mettendo una nuova site map dove quegli url non ci sono, piano piano vengano "dimenticati" dai motori.

chiunque può richiedere qualsiasi cosa quando vuole sul tuo sito.

M.

quel bot sta visitando il tuo sito come se una volta fosse stato infettato e ricerca degli url indicizzati