回答:
サイトが過剰にクロールされていると思われる場合（おそらく、より深いコンテンツが欠落している場合もある）、HTTPヘッダーが「最終変更」時間などの適切な値を返していることを確認する必要があります。Googlebotがサイトの変化量を過大評価している可能性があります。おまけとして、あなたのサイトは（それがプロキシであろうとブラウザベースであろうと）キャッシングに関してより良く振る舞うので、少し速く感じるでしょう。
クロールされているURLを（サーバーログを確認することで）調査することをお勧めします。同じURLを何度も再クロールする場合は、間違いなく問題があります。これの一般的なバリアントは、リクエスト変数を使用してさまざまな方法で表示できるページがある場合です。Googlbotは、これらの変数のすべての可能な組み合わせをクロールしようとする可能性があります。
私がクロールオペレーターとして遭遇した例は、20の見出しのリストがあり、それらの任意の組み合わせを展開できるページでした。基本的に、そのページには2 ^ 20の異なるURLがありました！
Googlebotが基本的に同じページを何度も何度もクロールしないように注意してください。
Googleは、サイトの年齢、人気（サイトへのリンク）、マークアップとヘッダー、適切なサイトマップなどによってクロール速度を変更すると思います。また、以前にクローラーを変更したため、コンテンツが以前よりもはるかに速く検索結果に表示されるようになりました（変更の少なくとも2週間前）。
そのため、2年前にブログをリリースしたとき、すべてのコンテンツをインデックスに登録するには数ヶ月、新しい投稿をインデックスに登録するには数週間かかりました。今、私はそれを公開したその日に検索結果に投稿を表示します。
簡単なことですが、Googleは新しいサイトが好きではなく、長老を尊重しています。
