1
baiduが私のサイトをクレイジーにクロールするのはなぜですか
Apacheログを確認していると、baiduが過去2週間に1日10回ウェブサイトをクロールしていることがわかります。 私はそれを大事にしているわけではありませんが、なぜ彼がこれをしているのか本当に興味があります。これは、リンクがあまりない、非常に小さな単一ページのWebサイトです。 その背後に何か理由はありますか? 220.181.108.169 [10/Mar/2012:10:41:29 +0100] "GET / ... +http://www.baidu.com/search/spider.html)" 180.76.5.197 [10/Mar/2012:11:02:02 +0100] "GET / ...robots.txt +(+http://www.baidu.com/search/spider.htm)" 123.125.71.100 [10/Mar/2012:11:33:15 +0100] "GET / ... +http://www.baidu.com/search/spider.html)" 220.181.108.167 [10/Mar/2012:11:33:52 +0100] "GET / ... +http://www.baidu.com/search/spider.html)" 123.125.71.116 [10/Mar/2012:12:24:48 +0100] "GET / ... +http://www.baidu.com/search/spider.html)" 220.181.108.172 [10/Mar/2012:12:25:05 +0100] "GET / ... +http://www.baidu.com/search/spider.html)" 123.125.71.111 [10/Mar/2012:13:33:22 +0100] "GET / …
12
seo
web-crawlers
baidu