ユーザーエージェントMozilla / 5.0（Windows; U; Windows NT 5.1; en-US; rv：1.9.0.10）からの不正なトラフィックGecko / 2009042316 Firefox / 3.0.10（.NET CLR 3.5.30729）
これは急速に変化するイベントであり、まだ答えがありません。 調査結果や仮定を回答として投稿しないでください。実際に回答がある場合に備えて、回答フィールドを予約してください。 追加する新しいものがある場合は、質問に直接編集してください。 年の初めから、ユーザーエージェントとのトラフィックが増えています。 Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10 (.NET CLR 3.5.30729). 私のアクセスログには、そのユーザーエージェントからの40％〜60％が表示されます。ユーザーエージェントがFirefox 3.0.10ブラウザーを示しているため、これは奇妙です（2012年にそのブラウザーを使用している人はいますか？通常のWebサイトの訪問者の40％-60％ではありません）。 また、ログは、このユーザーエージェントがHTMLドキュメントのみを要求し、画像、CSS、JSファイルなどの参照されたアセットは要求していないことを示しています。 それらのリクエストのIPを（そのUAで）チェックしました。それは世界中から来ています。これらのIPにはモバイルユーザーエージェントが含まれることがあることを認識しました。 私の疑いは、多くの「スパイダーリクエスト」を行っているモバイルアプリです。そのユーザーエージェントからのトラフィックの根本原因を知ることは良いことです。 誰でも根本原因を特定できますか？ 過去数週間で、そのUAからのトラフィックが減少し、他のトラフィックが増加することを認識しました。ボット/クローラーは現在、より一般的なUAを使用しているため、ブロックがより困難になっているようです。この質問への回答の中で他の誰かがそれを言っているのを見ましたが、serverfaultがこの質問を再配置することを決めたときに削除されました。 参照としての古い回答 Deeからの更新 私は非常にトラフィックの多い独自のウェブサイトを運営しており、先月かそこらのapacheログでまったく同じことを見ています（さらに確認する機会がまだありませんでした）。すべてのリクエストの40％が私が見ている割合であり、これは明らかにナッツです。 また、リクエストは常にリクエストしているブラウザがgzip圧縮をサポートしていないと言っているように見えることに気付きました。その結果、すべてのWebページリクエストが圧縮されずに送信され、帯域幅の使用が急増します！ しかし、これまでのところ、実際に何が起こっているのかを判断することはできませんでした-これまでのところ、偽のユーザーエージェント文字列を送信しているモバイルデバイスのプロキシサーバーなどの可能性があると思われます。 追加するために編集：さらに調査を行ったところ、ウイルス対策ソフトウェアのようです：http : //www.webmasterworld.com/search_engine_spiders/4428772.htm jamur21からの更新 はい、複数のサイトで同様のトラフィックが確認されています。 私たちはまだ根本原因を探していますが、調査結果には次のようなものがあります。 クモの場合、それはかなり悪い仕事をしています。別のURLに移動するまで、しばらく（おそらく2、3時間）ドメインごとに1つまたは2つのURLのみをハンマーするようです。ただし、コンテンツは常に比較的「最新」であり、回答に投稿されたリンクDeeにあるように、Googleニュースが要因であるという信用を与えています（すべてのサイトはニュースサイトです）。 IPは地理的に分散していますが、私たちにとって、それらのほとんどは発信元サイトの近くにあるように見えます（ほとんどのサイトはローカルニュースアウトレットであるため、国内のトラフィックはあまり多くありません）。米国外からのリクエストはほとんどありません。繰り返しになりますが、これは、Googleニュースから丸URLみされたURLに信用を与えます（郵便番号でGoogleニュースをローカライズした人々がコンテンツを見ると思います）。 ほとんどの場合、リクエストはバックグラウンドノイズ（特にノイズの多いノイズ）として取り消すことができますが、1日に2、3回スパイクし、このUAだけで約15〜30分間、〜100mbpsのトラフィックを占めます。 残念ながら、GoogleニュースはこれらのURLが発見される可能性のあるベクトルのように見えますが、私たちが目にしたことはすべて状況であり、これらのURLが正確にどのように攻撃されるのかについての喫煙銃はまだありません。 Bannow Bayからの更新 大きなニュースサイトがあります。週に数回、ニュースがGoogleニュースに取り上げられます。11月下旬からこのソースからトラフィックを獲得しており、週ごとに増加しています。2月には3,000万インプレッションになる可能性があります。 Google News USのフロントページに表示されることが、このトラフィックの引き金となります。約75％が米国のIPからのものであると主張しています。しかし、それが何であれ、それ自体を隠すために多大な努力を払っています。そしてそれは友好的ではありません。 喫煙銃も見つかりませんでしたが、主要なセキュリティベンダーは、当社に代わってさらに調査することに親切に同意しました。 Artem Russakovskiiからの更新 ニュースサイト（AndroidPolice.com）でも初めて同じことが起こりました。QPSが平均5000％（LinodeのNodeBalancerの制限である5000qps）を超えたこれらのランダムリクエストの約10分。要求がI / …