サイトマップのパラドックス

Stack Overflowでサイトマップを使用していますが、私はそれについて複雑な気持ちを持っています。

Webクローラーは通常、サイト内のリンクおよび他のサイトからページを検出します。サイトマップはこのデータを補完して、サイトマップをサポートするクローラーがサイトマップ内のすべてのURLを取得し、関連するメタデータを使用してそれらのURLについて学習できるようにします。サイトマッププロトコルを使用しても、Webページが検索エンジンに含まれることは保証されませんが、Webクローラーがサイトをより適切にクロールするためのヒントを提供します。

サイトマップに関する2年の経験に基づいて、サイトマップには根本的に逆説的なことがあります。

1. サイトマップは、適切にクロールするのが難しいサイトを対象としています。
2. Googleがリンクを見つけるためにサイトを正常にクロールできない場合でも、サイトマップでそれを見つけることができる場合、サイトマップリンクに重みを与えず、インデックスを作成しません！

それがサイトマップのパラドックスです- サイトが（何らかの理由で）適切にクロールされていない場合、サイトマップを使用しても役に立ちません！

Googleはサイトマップの保証を一切行わないようにしています：

「私たちはおよそたり、URLがクロールやGoogleのインデックスに追加されますがあれば、予測または保証することはできません」引用を

「すべてのURLをクロールまたはインデックス登録することを保証しません。たとえば、サイトマップに含まれる画像URLをクロールまたはインデックス登録しません。」引用

「あなたのサイトのすべてのページが検索結果にクロールまたは含まれることを保証するものではありませんサイトマップを提出する」引用

サイトマップで見つかったリンクは単なる推奨事項であるのに対し、自分のウェブサイトで見つかったリンクは正規と見なされます... サイトマップを避けて、Googleや他の検索エンジンが適切にできることを確認することが唯一の論理的なことのようです誰もが見ている普通の標準的なWebページを使用してサイトをスパイダーします。

Googleがあなたのサイトがこれらのページにリンクしていることを確認し、リンクをクロールすることを望んでいるように、あなたがそれをやったときまでに、すっかりスパイダーになっています。サイトマップは、検索エンジンのスパイダーがサイト全体を正常にクロールできるようにすることを妨げるため、積極的に有害になる可能性があります。「ああ、クローラーがそれを見ることができるかどうかは関係ありません。サイトマップでそれらのリンクをたたくだけです！」私たちの経験では現実は正反対です。

これは、サイトマップが非常に深いリンクのコレクションやスパイダーが困難な複雑なUIを持つサイト向けであることを考えると、少し皮肉以上のようです。Googleの経験では、サイトマップは役に立ちません。Googleがサイト上のリンクを適切に見つけられない場合、とにかくサイトマップからインデックスを作成できないためです。Stack Overflowの質問で、この実証済みの問題を何度も繰り返してきました。

私が間違っている？サイトマップは理にかなっており、どういうわけか間違って使用していますか？

免責事項：Googleのサイトマップチームと一緒に仕事をしているので、やや偏見があります:-)。

「非Webインデックス」コンテンツ（画像、ビデオ、ニュースなど）にサイトマップを広範囲に使用することに加えて、サイトマップファイルに含まれるURLからの情報を主な目的に使用します。

• 新規および更新されたコンテンツの発見（これは明らかなものだと思います。そうです、そうでなければリンクされていないURLをピックアップしてインデックスを作成します）
• 正規化の優先URLを認識する（正規化を処理する他の方法もあります）
• Googleウェブマスターツールで有用なインデックス付きURLカウントを提供します（site：-queriesからの近似はメトリックとして使用できません）
• 便利なクロールエラーの基礎を提供する（サイトマップファイルに含まれるURLにクロールエラーがある場合、それは通常より大きな問題であり、ウェブマスターツールで個別に表示されます）

ウェブマスター側では、サイトマップファイルも非常に便利であることがわかりました。

• クローラーを使用してサイトマップファイルを作成すると、サイトがクロール可能であることを簡単に確認し、どのようなURLが見つかったかを直接確認できます。クローラーは好みのURLを見つけていますか、それとも何か正しく構成されていませんか？クローラーは無限のスペース（例：無限のカレンダースクリプト）のどこかに詰まっていますか？サーバーは負荷を処理できますか？
• サイトには実際に何ページありますか？サイトマップファイルが「クリーン」（重複がないなど）である場合は、簡単に確認できます。
• 重複するコンテンツに遭遇することなく、あなたのサイトは本当にきれいにクロールできますか？Googlebotが残したサーバーログをサイトマップファイルと比較します。GooglebotがサイトマップファイルにないURLをクロールしている場合は、内部リンクを再確認することをお勧めします。
• サーバーで優先URLの問題が発生していますか？サーバーエラーログをサイトマップURLとクロスチェックすることは非常に便利です。
• 実際にインデックス付けされているページはいくつですか？前述のように、このカウントはウェブマスターツールに表示されます。

確かに、非常に小さく、静的で、簡単にクロール可能なサイトの場合、サイトのクロールとインデックス登録が完了すると、Googleの観点からはサイトマップを使用する必要がなくなる場合があります。それ以外の場合は、使用することをお勧めします。

FWIW私も同様にカバーしたいいくつかの誤解があります：

• サイトマップファイルは、クローラビリティの問題を「修正」するためのものではありません。サイトをクロールできない場合は、まずそれを修正してください。
• ランキングにサイトマップファイルは使用しません。
• サイトマップファイルを使用しても、サイトの通常のクロールは削減されません。これは追加情報であり、クロールに代わるものではありません。同様に、サイトマップファイルにURLが含まれていなくても、インデックスが作成されないという意味ではありません。
• メタデータについて大騒ぎしないでください。有用な値（優先順位など）を提供できない場合は、それらを省略してください。心配する必要はありません。

優れたサイトアーキテクチャがあり、Googleがページを自然に見つけられることを知っている場合、サイトが十分に高速にインデックス付けされていれば不要であるため、インデックス付けが高速化されていることを認識しています。

2009年の記事で、紳士がGoogleがサイトマップありとなしでサイトをクロールする速度をテストしました。 http://www.seomoz.org/blog/do-sitemaps-effect-crawlers

私の経験則では、テストされていない新しいものを起動する場合は、Googleがサイトをクロールする方法を確認して修正する必要がないことを確認したいので、変更を加えたい場合は送信しないでくださいグーグルは、それらをより速く見るために送信します。または、ニュース速報などの時間に敏感な情報がある場合は、グーグルが最初に見ることを確認するためにできる限りのことをしたいので送信します。

疑わしいのは、Googleの場合、更新を可能な限り迅速に追跡するためにサイトマップが必要だということです。たとえば、Webサイトの深い場所に新しいコンテンツを追加したとします。これは、ホームページから10〜20回以上クリックする必要があります。Googleがこの新しいページに到達する可能性は短時間で低くなります。そのため、代わりに、このページへのパスが完全に決定されるまで、その存在がアナウンスされます。結局、PageRankはすぐに計算されず、ユーザーの行動などを評価するのに時間がかかります。それまでは、エンジンが新しいコンテンツを含むページをクロールしてインデックスを作成しないのはなぜですか。

サイトマップは、正しく使用すれば非常に価値があります。

まず、Googleがヒントだと言っているという事実は、a）サイトマスターがサイトマップ=インデックス化という誤った印象を受けないようにし、b）Googleが特定のサイトマップを信頼できないと判断した場合に無視できるようにすることです（別名lastmodは、アクセスされる毎日のすべてのURLの現在の日付です。

ただし、Googleは通常、サイトマップを好み、使用します（実際、サイトマップを見つけてGoogleウェブマスターツールに追加することもあります）。どうして？クロールの効率が向上します。

シードサイトから開始してWebをクロールする代わりに、送信されたサイトマップに基づいて、適切な量のクロール予算をサイトに割り当てることができます。また、関連するエラーデータ（500、404など）を使用してサイトの大きな履歴を作成することもできます。

Googleから：

「Googlebotは、あるページから別のページへのリンクをたどってWebをクロールするため、サイトが適切にリンクされていないと、サイトを発見するのが困難になる場合があります。」

彼らが言っていないのは、ウェブをクロールするのは時間がかかり、チートシート（別名サイトマップ）を好むということです。

確かに、サイトはクロールの観点からは問題ないかもしれませんが、新しいコンテンツを導入したい場合、そのコンテンツを優先度の高いサイトマップにドロップすると、クロールとインデックス登録をすばやく行うことができます。

また、新しいコンテンツの検索、クロール、インデックス作成を高速で行うため、これはGoogleでも機能します。さて、Googleがジャングルアプローチのマチェーテよりもbeat地を好むとは思わない場合でも、サイトマップが価値があるもう1つの理由があります-追跡。

特に、サイトマップインデックス（http://sitemaps.org/protocol.php#index）を使用すると、サイトをセクションに分割できます（サイトマップごとのサイトマップ）。そうすることで、サイトのインデックス化率をセクションごとに確認できます。

1つのセクションまたはコンテンツタイプのインデックス化率は87％で、別のセクションまたはコンテンツタイプのインデックス化率は46％になる場合があります。それが理由を理解するのはあなたの仕事です。

サイトマップを最大限に活用するには、サイト上のGooglebot（およびBingbot）クロールを（ブログ経由で）追跡し、それらをサイトマップに一致させてから、トラフィックを追跡します。

サイトマップで眠らないでください-サイトマップに投資してください。

Googleの言葉を借りると、「ほとんどの場合、ウェブマスターはサイトマップを送信することで利益を得ることができますが、サイトマップに対してペナルティが科されることはありません。」

しかし、ウェブサイトのページを検索エンジンに表示したい場合にできる最善のことは、サイトから適切にクロールできるようにすることです。

検索エンジンはサイトマップを使用してページを検索するのではなく、更新を確認する頻度を最適化するために使用すると考えています。彼らは見て<changefreq>と<lastmod>。Googleはおそらくウェブサイト全体を頻繁にクロールします（ログを確認してください！）が、すべての検索エンジンがそのためのリソースを持っているわけではありません（Blekkoを試した人はいますか？）。いずれにしても、それらを使用することにペナルティはなく、自動的に簡単に作成できるため、私はそれを続けます。

このトピックに関心がある場合は、この素晴らしいGoogleペーパーhttp://googlewebmastercentral.blogspot.com/2009/04/research-study-of-sitemaps.html（2009年 4月）をお読みください。。

紙から

• わかりました、基本的にグーグルは同じ質問に苦労しました。
• サイトマップ内で価値を決定する方法を開示していませんが、スタートページからサイトマップへの仮想リンクの概念について言及しています。
• 他の面白いものがたくさん

ええ、サイトマップは主に値の決定ではなく発見（Googleがあなたのものを発見するプロセス）に使用されます。発見に苦労している場合は、サイトマップを使用してください。ディスカバリーはクロールの前提条件ですが、値の決定には影響しません。

私の経験から

• ページの相互リンクにHTMLおよびXMLサイトマップを使用するサイトのsh * tloadがあります。
• これらのうち、XMLサイトマップはHTMLサイトマップよりもはるかに優れたクロールです。（私はいくつかの本当に大きなものを本当によく見ました）
• XMLサイトマップを使用するだけで非常に成功したサイトもあります。

50万ペー​​ジ以上あるサイトにSEO戦略を実装するとき

• ランディングページ
• sitemap.xml
• 開始ページ

それ以外はすべて「バラスト」です。他のものは正のSEO値を持っているかもしれませんが、間違いなく負の値を持っている可能性があります。サイトの管理が難しくなります。（ps：値を決定するために、意味のある方法でランディングページを相互リンクします（大きな影響）が、それはすでに2番目のステップです）。

あなたの質問について：発見、クロール、インデックス作成、ランキングを混同しないでください。すべてを個別に追跡でき、すべてを個別に最適化できます。また、優れた（リアルタイムの）サイトマップを使用して、発見とクロールを大幅に強化できます。

サイトマップはあなたのお尻を保存できます。

私のサイトの1つに、検索エンジンがスパイダーするのを防ぐ多数のリンクがあります。簡単に言えば、Googleは私のフォーラムでJSを誤って解釈し、サイトの位置に影響を与えていると思われる500および403の応答コードを大量にトリガーしていました。robots.txtを使用して問題のあるURLを除外することで、この問題を回避しました。

ある日、私はめちゃくちゃにして、Googleが本当にインデックスに登録したかったそのサイトのいくつかのページをクロールできないようにしました。フォーラムが除外されているため、「robots.txtによる制限」のウェブマスターツールのエラーセクションには4000ページ以上あるため、手遅れになるまでこのエラーを拾いませんでした。

幸いなことに、私のサイトの「重要な」ページはすべてサイトマップにあるため、Webmaster Toolsがサイトマップのページに関する問題に対して持つ特別なエラーカテゴリでこの問題をすばやく検出することができました。

余談ですが、@ AJ Kohnが述べたように、サイトマップインデックスを使用して、サイトのさまざまなセクションのインデックス作成の品質を判断することからも多くの利点が得られます。

私自身はこれに遭遇していませんが、私のプロジェクトの大部分は、そうでなければユーザーアカウントを必要とするアプリケーションまたはサイトであるため、検索エンジンによるインデックス作成は焦点ではありません。

そうは言っても、SEOが基本的にサイトマップを役に立たなくしたと聞いたことがあります。プロトコルを見ると、ページがどのくらいの頻度で変更され、各ページの相対的な優先順位が何であるかを伝える一種の「名誉システム」です。1ダースのSEO企業がフィールドを悪用しているのは理にかなっています-すべてのページが最優先事項です！すべてのページは1時間ごとに変更されます！-レンダリングされたサイトマップは事実上役に立たない。

2008年のこの記事は基本的にそれを述べており、あなたと同じ結論に達しているようです。

クロールしましょう。

私は次のことを行います：

1. 古い方法でサイトをクロール可能にします。
2. robots.txtにサイトマップが表示されていることを確認してください。
3. XMLサイトマップを作成しますが、送信しないでください。クローラーは、検出およびインデックス作成プロセスの一環として、必要に応じてそれを検出して使用します。

拡張されたXMLファイルを生成します。これは、多くのことのベースとして機能します。

• HTMLサイトマップの生成
• 404（not found）ページのヘルプ
• パンくずリストの作成、ページのFacadeパターンに関するメタデータの取得など、他の小さなタスクを支援します。

したがって、XMLサイトマップも提供し、クローラーがやりたいことをやりたいのであれば、それをやりたいのですか？

ジェフ、Stackoverflowについては全く知りません。なぜなら、これほど巨大で頻繁に更新されるWebサイトのWebマスターになる機会がなかったからです。

頻繁に変更されない小さなWebサイトの場合、次の2つの理由から、サイトマップは非常に便利だと思います（サイトマップが最も重要だとは言いませんが、非常に便利です）。

1. サイトはすぐにクロールされます（上記のJoshakの回答で説明されたのと同じ理由）。小さな経験では、小さなサイト（30/50ページまで）でこれに何度も気付きました。

2. 数週間後、サイトマップを送信した後、「Google Webmaster Tools-Sitemaps」を見ると、サイトマップで送信されたURLの数とWebインデックスのURLの数を確認できます。それらが同じであることがわかったら、それでいいです。そうでなければ、どのページがインデックスに登録されていないのか、そしてその理由をウェブサイトですぐに確認できます。

これは（最初？）2007年の古き良き年にSEOmozでRandfishによって書かれたものです。彼が最初に同じタイプの結論に達したが、それから時間が経ちました。

それ以来（2009年1月）、記事にポストスクリプトを追加し、サイトマップの生成、検証、および送信の全体的な肯定的な結果がマイナス面を上回ると述べています。

2009年1月5日更新-私は実際、このアドバイスについて私の考えを大きく変えました。はい、サイトマップはまだアーキテクチャ上の問題を曖昧にする可能性がありますが、過去1.5年以上の経験を考えると、今ではすべてのクライアント（および要求するほぼ全員）にサイトマップを送信することをお勧めします。クロール、インデックス作成、およびトラフィックの面でのプラスは、マイナス面を単純に上回ります。

最近、SiteMapsは2つの目的しか果たしていないと思います。

• サーバーの負荷を軽減するためにスパイダーの頻度を減らすことができます。これは、ほとんどのサイトで実際に問題になることはありません。
• 検索エンジンがすでにあなたについて知っていることを強化するのに役立ちます。ページ名をリストし、明らかに各ページに適切な重みを追加すると、検索エンジンがサイトアーキテクチャをランク付けするための独自のメトリックを検証するのに役立ちます。

サイトマップを使用しないでください

サイトマップは主に、インデックスとノードにタイムスタンプを付けないサイト向けです。...SEはコアコンテンツに対して両方を実行するため、サイトマップがあるとクローラーの速度が低下します...はい、そうです、サイトマップはコアインデックスにあるメタデータがありません。反対に、グーグルがどのようにボットを構築するかについての本当の考えはありません。SEをボットするつもりなら、サイトマップを使用しません。さらに、一部のサイトでは、サイトマップがすべて％！@ $であることに気付かないこともあります。また、サイトマップにプロファイルを作成したが、突然機能しなくなった場合、新しいプロファイルを作成する必要があります。実際のサイト。

だから、あなたは正しいです- サイトマップを使用しないでください！

ヒント：ただし、タグのセマンティクスを可能な限り同じ状態に保つことをお勧めします。つまり、「Asked One Hour Ago」に次のようなメタデータが埋め込まれている場合です。

title="2010-11-02 00:07:15Z" class="relativetime"

relativetimeのデータの意味titleが変更されていない限り、文字列名を変更しないでください。決して... :-)

最近、まだ作業中のサイトを再構築しました。ユーザーを支援するために500,000ページをリンクする良い方法がなかったため、XMLサイトマップを使用してGoogleに送信し、代わりにサイト検索を使用することにしました。Googleは以前のサイトのインデックス作成に問題はありませんでしたが、サイトマップを追加したため、Googleはサイトのスパイダーとページのインデックス作成を非常に高速に実行しています。Googleはサイトマップを使用して新しいページを見つけ（週に約3300）、更新されたページを再訪しました。私の本では本当に勝ちました。私はまだ自分のページをリンクし、ルックアップにAJAXを使用する新しい方法を見つけたいと思っていますが、それは別の日のプロジェクトです。ここまでは順調ですね！それは私にとって良い解決策でした。すべて、すべて、私は獲得し、失われていません。サイトマップは実際にはもっと便利であるが、そのデザインによって制限される可能性があると常に感じているので、これは興味深いことです。

サイトマップを使用すると、ページがより高速に補足索引に追加されると聞きました。しかし、私は年齢で言及された補足指数さえ聞いていないので、彼らはもうそれを使用していないかもしれません。

PS私の声明が十分に明確ではない場合、補足索引にあることは悪いことです（またはそうでした）...したがって、サイトマップは悪いです（またはそうでした）。

私たちは、robots.txt主にホームページが最高であることを確認するために、サイトマップ（検索エンジンに送信されず、リンクされています）を使用し<priority>ます。他の用途があるかどうかはわかりません。

Googleがサイトマップのみのリンクをインデックスに登録しないことに同意しません。私はサイトマップを介してのみ到達可能なページを持っている多くのサイトを持っています、そして、グーグルは問題なくそれらを索引付けします。これの多くの例を挙げることができます。

よく構築されたサイトは、サイトマップを必要としませんが、カバレッジとランキングを支援し、優先度、更新頻度などの追加の値を追加します。検索エンジンにちょっと教えてください...フルクロールを必要とせずに、サイトの中央のどこかで。クロールのパターンを見たことはありませんが、それが役に立てば幸いです。

私にとって本当のプラスは、ウェブマスターツールと、それがあなたのウェブサイトの可視性とユーザーに与える洞察力だということです。