19
サイトマップのパラドックス
Stack Overflowでサイトマップを使用していますが、私はそれについて複雑な気持ちを持っています。 Webクローラーは通常、サイト内のリンクおよび他のサイトからページを検出します。サイトマップはこのデータを補完して、サイトマップをサポートするクローラーがサイトマップ内のすべてのURLを取得し、関連するメタデータを使用してそれらのURLについて学習できるようにします。サイトマッププロトコルを使用しても、Webページが検索エンジンに含まれることは保証されませんが、Webクローラーがサイトをより適切にクロールするためのヒントを提供します。 サイトマップに関する2年の経験に基づいて、サイトマップには根本的に逆説的なことがあります。 サイトマップは、適切にクロールするのが難しいサイトを対象としています。 Googleがリンクを見つけるためにサイトを正常にクロールできない場合でも、サイトマップでそれを見つけることができる場合、サイトマップリンクに重みを与えず、インデックスを作成しません！ それがサイトマップのパラドックスです- サイトが（何らかの理由で）適切にクロールされていない場合、サイトマップを使用しても役に立ちません！ Googleはサイトマップの保証を一切行わないようにしています： 「私たちはおよそたり、URLがクロールやGoogleのインデックスに追加されますがあれば、予測または保証することはできません」引用を 「すべてのURLをクロールまたはインデックス登録することを保証しません。たとえば、サイトマップに含まれる画像URLをクロールまたはインデックス登録しません。」引用 「あなたのサイトのすべてのページが検索結果にクロールまたは含まれることを保証するものではありませんサイトマップを提出する」引用 サイトマップで見つかったリンクは単なる推奨事項であるのに対し、自分のウェブサイトで見つかったリンクは正規と見なされます... サイトマップを避けて、Googleや他の検索エンジンが適切にできることを確認することが唯一の論理的なことのようです誰もが見ている普通の標準的なWebページを使用してサイトをスパイダーします。 Googleがあなたのサイトがこれらのページにリンクしていることを確認し、リンクをクロールすることを望んでいるように、あなたがそれをやったときまでに、すっかりスパイダーになっています。サイトマップは、検索エンジンのスパイダーがサイト全体を正常にクロールできるようにすることを妨げるため、積極的に有害になる可能性があります。「ああ、クローラーがそれを見ることができるかどうかは関係ありません。サイトマップでそれらのリンクをたたくだけです！」私たちの経験では現実は正反対です。 これは、サイトマップが非常に深いリンクのコレクションやスパイダーが困難な複雑なUIを持つサイト向けであることを考えると、少し皮肉以上のようです。Googleの経験では、サイトマップは役に立ちません。Googleがサイト上のリンクを適切に見つけられない場合、とにかくサイトマップからインデックスを作成できないためです。Stack Overflowの質問で、この実証済みの問題を何度も繰り返してきました。 私が間違っている？サイトマップは理にかなっており、どういうわけか間違って使用していますか？