Consiglio su modifica Robots.txt

[maupap]

Salve ragazzi,Ieri il mio dominio è andato in sovraccarico con impiego della CPU al 400% e della memoria disponibile ( 3Gb).Normalmente impegno il 10-30% di queste risorse.Spulciando negli accessi e chiedendo poi conferma all'Hosting ho notato di aver ricevuto nell'arco di poche ore ( dalle 22 di ieri sera alle 2 di stamattina) circa 13.000 mila richieste da bot crawler soprattutto da semrushSoluzioni a tal proposito?Ho bloccato questi crawler che mi sembrano poco utili ( correggetemi se sbaglio)
User-agent: SemrushBot
User-agent: AhrefsBot
User-agent: MJ12bot
User-agent: dotbot
User-agent: PetalBot

[sgiobbio]

Mi è capitata recentemente una cosa simile, e al ticket che ho aperto presso il mio Hosting hanno risposto che robots.txt non sempre funziona correttamente, e in certi casi è meglio bloccare l'indirizzo IP di provenienza.
Se poi utilizzi CloudFlare, mettilo in modalità "under attack" per 24 ore.
Spero che possa esserti utile.