10
ボットによるWebサーバーの停止を阻止する必要がある
ホスティングアカウント内のいくつかのWebサイトで、極端なボットの問題が発生しています。ボットは私のCPUリソースの98%以上と私のホスティングアカウント全体に私の帯域幅の99%を使用します。これらのボットは、私のサイトに対して1時間あたり1 GBを超えるトラフィックを生成しています。これらすべてのサイトの実際の人的トラフィックは100 MB /月未満です。 これらのボットをブロックするためにrobots.txtと.htaccessファイルの両方で広範な調査を行いましたが、すべての方法が失敗しました。 robots.txtファイルにコードを入れてスクリプトディレクトリへのアクセスをブロックしましたが、これらのボット(Google、MS Bing、Yahoo)はルールを無視し、スクリプトを実行します。 Google、MS Bing、Yahooのボットを完全にブロックしたくないが、クロール速度を制限したい。また、robots.txtファイルにCrawl-delayステートメントを追加しても、ボットの速度は低下しません。すべてのサイトの現在のrobots.txtおよび.htaccesコードを以下に示します。 MicrosoftとGoogleの両方のウェブマスターツールを設定して、クロール速度を絶対最小に落としましたが、これらのサイトは10ヒット/秒の速度でヒットしています。 さらに、エラーの原因となるファイルをアップロードするたびに、VPS Webサーバー全体が数秒以内にダウンするため、これらのボットによる攻撃のせいでサイトにアクセスできず、問題を修正できません。 Webサイトへのトラフィックのスロットを停止するにはどうすればよいですか? 過去数か月間にこの問題についてWebホスティング会社(site5.com)に何度も質問してみましたが、彼らはこの問題を解決することができません。 ボットがrss2html.phpスクリプトを実行しないようにすることが本当に必要です。セッションとCookieの両方を試しましたが、どちらも失敗しました。 robots.txt User-agent: Mediapartners-Google Disallow: User-agent: Googlebot Disallow: User-agent: Adsbot-Google Disallow: User-agent: Googlebot-Image Disallow: User-agent: Googlebot-Mobile Disallow: User-agent: MSNBot Disallow: User-agent: bingbot Disallow: User-agent: Slurp Disallow: User-Agent: Yahoo! Slurp Disallow: # Directories User-agent: * Disallow: / …