GoogleがWebサイトからバイナリをダウンロードして帯域幅を使用するのはなぜですか？

2014年8月中旬以降、いくつかのGoogleサーバーが私のWebサイトにある（非常に）大きなバイナリファイルのすべてを週に1回程度ダウンロードしています。IPはすべてGoogleが所有しているものとして表示され、次のようになります：google-proxy-66-249-88-199.google.com。これらはGETリクエストであり、サーバーのトラフィックに大きな影響を与えています。

これまでは、これらのGoogleプロキシIPからのトラフィックは見られなかったため、これは比較的新しいもののようです。他のGoogle IPからのすべての種類のトラフィックが表示されますが、それらはすべてgooglebotおよびHEADリクエストのみです。

これらのファイルがすべてGoogleによってほぼ毎週ダウンロードされることを除いて、私はこれについて心配しません。使用される帯域幅が過剰になり始めています。

これらのファイルの多くはWindows実行可能ファイルであるため、おそらくGoogleがマルウェアスキャンを実行するためにそれらをダウンロードしているのではないかと推測しています。それが本当だとしても、それは本当に毎週起こる必要があるのでしょうか？

これまでの11月のGoogleプロキシIPからのトラフィックの例：

google-proxy-64-233-172-95.google.com: 8.09 GB
google-proxy-66-102-6-104.google.com: 7.50 GB
google-proxy-66-249-83-245.google.com: 3.35 GB
google-proxy-66-249-84-131.google.com: 1.54 GB
google-proxy-66-249-83-131.google.com: 4.98 GB
google-proxy-66-249-83-239.google.com: 2.48 GB
google-proxy-66-249-88-203.google.com: 2.94 GB
google-proxy-66-249-88-201.google.com: 2.58 GB
google-proxy-66-249-88-199.google.com: 4.89 GB

アップデート＃1：問題のファイルがすでにサイトのrobots.txtファイルにあることを忘れていました。robots.txtの設定が適切に機能していることを訴えるために、Googleウェブマスターツールのrobots.txtテスターも使用しました。これは、ファイルがすべてのGoogleボットに対して確実にブロックされていることを示しています。ただし、Adsbot-Googleは例外です。それがどちらなのか、よくわかりません。さらに、Googleで一部のファイルを検索しましたが、検索結果に表示されません。

更新＃2：例：11月17日の午前5時12分から午前5時18分の間、約6のIP（すべてgoogle-proxy）が問題のすべてのバイナリファイル（合計27）でGETを実行しました。11月4日の午後2時9分から午後2時15分の間、それらの同じIPは基本的に同じことを行いました。

更新＃3：この時点で、これらは有効なGoogle IPですが、Googleのプロキシサービスの一部であり、Googleのウェブクロールシステムの一部ではないことは明らかです。これらはプロキシアドレスであるため、GETリクエストが実際にどこから発生しているか、または1か所から送信されているのか、それとも複数の送信元から送信されているのかを判別する方法はありません。GETの散発的な性質に基づいて、悪質なことが行われているようには見えません。Googleのプロキシサービスを使用しているときに、すべてのバイナリをダウンロードすることを決めただけの可能性があります。残念ながら、そのサービスは完全に文書化されていないようで、役に立ちません。サイト管理者の観点から見ると、プロキシはかなり煩わしいものです。彼らは正当な用途があるので、私はそれらをブロックしたくありません。しかし、それらは誤用される可能性もあります。

私はこの質問についていくつかの調査を行ったところ、次のような興味深いシンが見つかりました。

1.偽のクローラーですか？-> /programming/15840440/google-proxy-is-a-fake-crawler-for-example-google-proxy-66-249-81-131-google-c

ユーザーからの結論：

これらの「クローラー」はクローラーではありませんが、Google検索エンジンで使用されるライブWebサイトプレビューの一部です。

私はこれを試してみました。プレビューに自分のWebサイトの1つを表示しました。そうです、ブロックされたIPメッセージを受け取りました。

ユーザーがWebサイトのプレビューを表示できるようにするには、これらの「クローラー」を受け入れる必要があります。

他の人が言ったように：「そのURLのルートドメインはgoogle.comであり、簡単に偽装することはできません」。

結論：これらのボットまたはクローラーを信頼でき、Google検索でプレビューを表示するために使用されます。

ライブプレビューがファイルをダウンロードしていないことがわかっているので、質問2に進みましょう。

2. Googleサービスの一部ですか？-> このGoogleプロキシは偽のクローラですか？google-proxy-66-249-81-131.google.com？

結論：

（ブロックされた）Webサイト（学校など）へのアクセスだけでなく、DOS攻撃や同様の活動にもGoogleサービス（Google翻訳、Googleモバイルなど）を使用している人がいると思います。

これについての私の推測は上記と同じです。誰かがGoogleサービスを使用して、翻訳者などのファイルにアクセスしようとしています。

あなたが言うように、ファイルがrobots.txtによって既にブロックされている場合、これは手動でのリクエストのみが可能です。

編集：OPコメントに広範囲に対処するには：

クローラーはrobots.txtを無視できますか？はい。ここだリスト 私はGoogleがそれをするとは思わないが、それはGoogleのプロキシを使用して、他のボットことができることを意味し、。

それは悪いボットかもしれませんか？はい、そのために私はお勧めします：

.htaccess禁止：

 RewriteCond %{REMOTE_HOST} ^209.133.111..* [OR]
 RewriteCond %{HTTP_USER_AGENT} Spider [OR]
 RewriteCond %{HTTP_USER_AGENT} Slurp
 RewriteRule ^.*$ X.html [L]

このコードは、IPまたはユーザーエージェントを禁止できます。

または、ここで紹介されているスパイダートラップを使用する

これは手動によるリクエストであると私は考えています。