回答:
Googleウェブマスターツールで、Googleがサイトをクロールする速度を制御できます。
サイトのクロールレートは、Googlebotが各訪問でサイトをクロールするために使用する時間を決定します。私たちの目標は、サーバーの帯域幅に顕著な影響を与えることなく、サイトを徹底的にクロールすることです（したがって、ページのインデックスを作成して検索結果に返すことができます！）。ほとんどのウェブマスターはデフォルトのクロール設定を使用して問題ありません（変更は必要ありません。詳細は以下を参照）が、一部のウェブマスターにはより具体的なニーズがある場合があります。
Googlebotは、アクセスする各サイトをクロールする量を決定する高度なアルゴリズムを採用しています。大多数のサイトでは、デフォルトの「Googleにクロール速度を決定させる」オプションを選択するのがおそらく最善です。ただし、上級ユーザーの場合、またはサーバーの帯域幅の問題に直面している場合は、クロールレートをWebサーバーに最適な速度にカスタマイズできます。カスタムクロールレートオプションを使用すると、1秒あたりの最大リクエスト数と、ご使用の環境に最適であると感じるリクエスト間の秒数をGooglebotに洞察させることができます。
Googlebotは、ウェブマスターツールで使用できるクロールレート値の範囲を決定します。これは、サーバーの機能に関する当社の理解に基づいています。この範囲は、いくつかの要因に基づいて、サイトごとに、また時間とともに変化する場合があります。クロールレートをデフォルト値よりも低く設定すると、Googleの検索結果でのサイトのカバー率と鮮度に影響する場合があります。ただし、デフォルトよりも高い値に設定しても、カバレッジやランキングは改善されません。カスタムクロールレートを設定すると、新しいレートは90日間有効になり、その後Googleの推奨値にリセットされます。
この設定は、ルートレベルのサイトと、blogspot.comのような大規模なドメインでホストされていないサイトにのみ使用できます（特別な設定が割り当てられています）。クロールレートの設定を確認するには、ウェブマスターツールにログインして、[設定]タブにアクセスします。他にご質問がある場合は、ウェブマスターヘルプセンターにアクセスして、Googleがサイトをクロールする方法の詳細をご覧になるか、ウェブマスターヘルプフォーラムに質問を投稿してください。
それ以外の場合は、ユーザーエージェントを探り出し、ユーザーエージェントに基づいて検索エンジンボットを許可または拒否する独自のフィルタリングシステムを作成する必要があるでしょう。しかし、それは頻度の減少にのみ影響します。
質問の2番目の部分に答えるには、ウェブマスターツールを使用してGoogleに伝えることができます
クロール速度を変更するには：
ウェブマスターツールのホームページで、目的のサイトをクリックします。
[サイトの構成]で、[設定]をクリックします。
[クロール速度]セクションで、必要なオプションを選択します。
https://www.google.com/support/webmasters/bin/answer.py?answer=48620&hl=en_GB
上ビングFAQそれを指し、このポストの設定をお勧めしますCrawl-Delay: Xxは各リクエストの間に待機する秒数です。
もちろん、サイトマップはページが変更される頻度を示します。