サイトマップにすべてを含めるか、新しいコンテンツのみを含める必要がありますか?


13

動的コンテンツ(新しいコンテンツが絶えず追加されている)を備えたWebサイトの場合、最新のコンテンツのみをサイトマップに含めるべきですか、それとも(サイトマップインデックス付き)すべてを含めるべきですか?特にサイトマップのベストプラクティスは何ですか。大規模サイトの場合

また、とにかくグーグル(および他の検索エンジン)がサイトマップのページのみをクロールするようにしますか?

ありがとう

更新:
また、stackoverflowがこれをどのように処理するか考えていますか?知りたいのですが、残念ながら(また理解して)彼らはサイトマップへのアクセスをブロックしました。


1
サイトの大きさは?robots.txtとサイトマップの両方にサイズ制限があります。驚くべきことに、多くは両方を超えているので、私は尋ねています。
ティムポスト

@Tim、今のところそれほど大きくはありません(すべてが1つのサイトマップに収まる可能性があります)が、私は前もって計画しようとしています。
ミー

回答:


13

すべてのページを含めます。XMLサイトマップの目的は、すべてのコンテンツについて検索エンジンに伝えることです。新しいものだけではありません。

sitemaps.orgのWebサイト(エンファシス鉱山)から:

サイトマップは、ウェブマスターがクロールに利用できるサイト上のページについて検索エンジンに通知する簡単な方法です。

多くのコンテンツがある場合は、複数のXMLサイトマップを使用できます

クロールまたはインデックス登録したくないコンテンツがある場合は、検索エンジンにこれらのページをクロールおよびインデックス登録しないように特に指示する必要があります。robots.txtファイルを使用して、クロールしないページまたはディレクトリをブロックします。メタタグを使用することもできます。ただし、リストにないページをクロールしないようにXMLサイトマップで指定することはできません。


回答ありがとうございます。サイトマップにすべてを含めます。
ミー

50K以上のページを処理できるライブラリがありますか?

それらの50k +ページはデータベースにありますか?
ジョンコンデ

サイトのすべてのページをサイトマップに配置する必要はありません。サイトマップは、クロールに使用できるページについて検索エンジンに通知するのに役立ちます。検索エンジンがすべてのクロール可能なページを既に表示でき、「最終変更」に関する情報を追加していない場合、それを作成する理由はありません。
ジャンゴラインハルト14年

1
この答えはwebmasters.stackexchange.com/a/5151/30596とは多少矛盾しているようです。Googleの@John Muellerを引用Using a Sitemap file won't reduce our normal crawling of your site. It's additional information, not a replacement for crawling. Similarly, not having a URL in a Sitemap file doesn't mean that it won't be indexed.
ユーザー
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.