過去にYahooの(信じられないほど)ひどく書かれたクモにいくつかの深刻な問題があったため、それらをブロックしました。TumblrのMarco Armentも、2009年8月31日にフラストレーションを私たちと共有しました。
[Yahoo's Spider]は、米国東部時間の午前5時30分頃から、毎秒70〜200件のリクエストを殺到しています。過去に私たちを虐待してきた不正な「実験的」なクローラーからでさえ、私はこのようなものを見たことはありません。Robots.txtの禁止では十分ではありません。ロードバランサーレベルでIPによってブロックする必要があります。彼らは過去にStack Overflowを悪用してきたので、あなたが知りたいかもしれないと思いました。
Yahooのウェブ検索は「Powered by Bing!」のようです。今。これは、Bingのスパイダー(別名MSNBOT)で問題が発生したことがないため、良いことです。
ヤフーの検索は現在Bingの検索と同じですか、それとも何らかの形で何らかの形で吸い込みを止めたのであれば、ブロックを解除する可能性を検討すべきでしょうか?