タグ付けされた質問 「yahoo」

過去にYahooの（信じられないほど）ひどく書かれたクモにいくつかの深刻な問題があったため、それらをブロックしました。TumblrのMarco Armentも、2009年8月31日にフラストレーションを私たちと共有しました。 [Yahoo's Spider]は、米国東部時間の午前5時30分頃から、毎秒70〜200件のリクエストを殺到しています。過去に私たちを虐待してきた不正な「実験的」なクローラーからでさえ、私はこのようなものを見たことはありません。Robots.txtの禁止では十分ではありません。ロードバランサーレベルでIPによってブロックする必要があります。彼らは過去にStack Overflowを悪用してきたので、あなたが知りたいかもしれないと思いました。 Yahooのウェブ検索は「Powered by Bing！」のようです。今。これは、Bingのスパイダー（別名MSNBOT）で問題が発生したことがないため、良いことです。 ヤフーの検索は現在Bingの検索と同じですか、それとも何らかの形で何らかの形で吸い込みを止めたのであれば、ブロックを解除する可能性を検討すべきでしょうか？

25 user-agent  bing  yahoo  web-crawlers 

多くの一般的なJS / CSSフレームワークは、GoogleのライブラリAPI（jQuery、Dojo、MooToolsなど）を介して提供されます。Yahooは、他の多くのホストと同様に、独自のYUIツールキットもホストしています。 大量のトラフィックサイトは、実際にこれらの外部でホストされているリソースに依存していますか（独自のコピーをホストしていません）？私の経験では、これまで取り組んできたプロジェクトと一緒にパッケージ化されたこれらのライブラリに頻繁に遭遇しましたが、それは活用するのに素晴らしいサービスのようです。 ここで最も一般的な方法は何ですか？さらに、これらを外部で使用することは安全で信頼性がありますか（経験に基づく）？

10 google  web-hosting  jquery  yahoo 

これは奇妙な問題です。 <record> <row> <source_ip>65.20.0.12</source_ip> <count>2</count> <policy_evaluated> <disposition>none</disposition> <dkim>pass</dkim> <spf>fail</spf> </policy_evaluated> </row> <identifiers> <header_from>mydomain.co.uk</header_from> </identifiers> <auth_results> <dkim> <domain>mydomain.co.uk</domain> <result>pass</result> </dkim> <spf> <domain>mydomain.co.uk</domain> <result>fail</result> </spf> </auth_results> </record> 自分のサーバーとgoogleを組み合わせてメールを送信しています。ソースIPは私のものでもGoogleのものでもありません。それらはどのようにしてDKIMを通過させることができますか？ レポートはYahooからのものです。IPは、cpcloud.co.uk（Critical Path Inc.）によって管理されているbtinternet.comのメールサーバーのようです。過去にSPFなどを使用して、それらの間に奇妙な点があったことを知っています。 ？ IPはYahoo DMARCレポートにのみあります。私がレポートを受け取る日付は、btinternetユーザーに送信された電子メールより1日早くなります。 私はbtアカウントにメールを送信するのと同じくらい簡単ですか、それはyahooに転送/リダイレクト/再送信され、失敗のフラグを立てていますか？

8 yahoo  spf  dkim