タグ付けされた質問 「baidu」

私の訪問のほとんどは白頭spからです。検索エンジンにはまったく役に立たないと思うので、検索エンジンをブロックする方法を考えています。これはiptablesを介して実行できますか？Webサーバーとしてnginxを使用しています。

15 traffic  nginx  web-crawlers  baidu 

Apacheログを確認していると、baiduが過去2週間に1日10回ウェブサイトをクロールしていることがわかります。 私はそれを大事にしているわけではありませんが、なぜ彼がこれをしているのか本当に興味があります。これは、リンクがあまりない、非常に小さな単一ページのWebサイトです。 その背後に何か理由はありますか？ 220.181.108.169 [10/Mar/2012:10:41:29 +0100] "GET / ... +http://www.baidu.com/search/spider.html)" 180.76.5.197 [10/Mar/2012:11:02:02 +0100] "GET / ...robots.txt +(+http://www.baidu.com/search/spider.htm)" 123.125.71.100 [10/Mar/2012:11:33:15 +0100] "GET / ... +http://www.baidu.com/search/spider.html)" 220.181.108.167 [10/Mar/2012:11:33:52 +0100] "GET / ... +http://www.baidu.com/search/spider.html)" 123.125.71.116 [10/Mar/2012:12:24:48 +0100] "GET / ... +http://www.baidu.com/search/spider.html)" 220.181.108.172 [10/Mar/2012:12:25:05 +0100] "GET / ... +http://www.baidu.com/search/spider.html)" 123.125.71.111 [10/Mar/2012:13:33:22 +0100] "GET / …

12 seo  web-crawlers  baidu