Googleボットによってインデックス化された数千万のページを取得する方法は？
現在、800万のユニークなページがあり、すぐに約2,000万、最終的には約5,000万以上に成長するサイトを開発しています。 批判する前に... はい、ユニークで有用なコンテンツを提供します。我々は継続的に公的記録からと、エンティティのロールアップをスクラブいくつかのデータを実行して生データを処理し、関係マッピングは、我々は、部分的に、またユニークな非常に便利とのサイトを開発し、質の高いコンテンツを生成することができました原因の広さにデータ。 PRは0（新しいドメイン、リンクなし）であり、1日あたり約500ページの速度でスパイダーされており、これまでに約30,000ページのインデックスが作成されています。このレートでは、すべてのデータのインデックス作成に400年以上かかります。 2つの質問があります。 インデックス作成のレートはPRと直接相関していますか？つまり、PRの良い古いドメインを購入することで、実用的なインデックス作成レート（1日あたり100,000ページ程度）に到達するのに十分な相関があるということです。 インデックス作成プロセス自体を支援することに特化したSEOコンサルタントはいますか。そうでなければ、特にページ上でSEOを非常にうまく活用しています。さらに、「ロングテール」キーワードフレーズの競争は非常に少ないため、成功は主にインデックスに登録されたページ数にかかっています。 当社の主要な競合他社は、Alexa 2000のようなランキングとともに、わずか1年で約20 MMページのインデックスを作成しました。 私たちが持っている注目すべき品質： ページのダウンロード速度はかなり良い（250-500ミリ秒） エラーなし（スパイダーされたときに404または500エラーなし） Googleウェブマスターツールを使用して、毎日ログインします わかりやすいURL サイトマップを送信するのが怖いです。一部のSEOコミュニティの投稿では、数百万ページの新しいサイトが提案されており、PRは疑わしくありません。監視の増加を回避するために、大規模なサイトの段階的なオンボーディングについて話しているMatt CuttsのGoogleビデオもあります（ビデオの約2:30）。 クリック可能なサイトリンクは、すべてのページを提供します。4ページ以下、通常は1ページに250（-ish）以下の内部リンクがあります。 内部リンクのアンカーテキストは論理的であり、詳細ページのデータに階層的に関連性を追加します。 以前、ウェブマスターツールでクロールレートを最高に設定していました（最大で2秒ごとに1ページのみ）。私は最近、「Googleに決定させる」ことを勧めました。