Googleウェブマスターツールが無効なURLをクロールし、500エラーを表示するのはなぜですか？

Googleウェブマスターツールが12k + 500エラーを報告しています。いいね！

有効なURLはなく、すべてwww.youtube.comが含まれています。まず、これらのURLが存在しない場合、Googleがクロールするのはなぜですか？サイトマップを提供しましたが、もちろんサイトマップにはありません。

robots.txtで何もブロックしていません。私は無効なリダイレクトをチェックしました-なし、閉じられていないタグ、または誤ってwww.youtube.comをURLにスローする何かをチェックしました-なし。

すべての「リンク元」では、参照URLも悪いURLであり、www.youtube.comが含まれています。Googleツールはマルウェアを報告していません。また、ホストからアクセスできないため、サーバーログを確認できません。

本当に立ち往生！どんなアイデアでも大歓迎です！

ウェブマスターツールで奇妙なURLや壊れたURLがクロールエラーとして表示される一般的な理由は2つあります。

最初の可能性は、誰かがあなたのページ（またはあなたのページにリンクする他のいくつかのページ）をコピーし、その過程でリンクを壊したことです。これはあなたが思っているよりも頻繁に起こります。たとえば、このGoogleウェブマスターのブログ投稿の6番目の質問を参照してください。

もう1つの可能性は、Googlebot自体がJavaScriptリンクと考えているものを追跡しようとして、それを台無しにしていることです。通常、これら2つのケースを区別するには、参照ページ（Googleが最初にクロールして管理できた場合に存在し、アクセス可能である必要があります）にアクセスし、ソースでターゲットページの名前を探します。

どちらの方法でも、基本的には2つのことを実行できます。リンクを無視するか、壊れたURLを有効なURLにマッピングするためのいくつかの書き換えルールを考え出します。URLに明らかなパターンが見られ、正規表現に精通している場合は、後者の方法をお勧めします。クロールエラーリストがクリーンアップされ、小さくて安っぽいのですが、実際のP​​ageRankが向上する可能性があります。

3番目のオプションは、誰かが許可なくコンテンツをコピーしていることに気付いた場合、それらをリストから削除することです。正当であると思われる場合は、ホスティングプロバイダーに苦情（および/または正式な削除リクエスト）を送信することもできます。もちろん、サイトにリンクしているように見えるので、努力する価値があるとは限りません。

Googleは、すぐにすべてのページを一度にインデックスに登録するわけではありません。

Googleのインデックス作成ページは最初に最高レベルです。次に、数日後、Googleはより深いインデックスを作成しようとしました-2番目のレベルのページ（Googleが最初のレベルのページでリンクを見つけたページ）など。このようにして、Googleはサイトの各ページをインデックスに登録しようとします。したがって、Googleはリンクの階層ツリーを作成し、Googleは各ページにリンクされているページを認識しています。

次に、Googleはしばらくしてからインデックスに登録された各ページにアクセスし、ページのコンテンツが変更されているかどうかを確認します。各ページと各サイトのインデックス作成の間隔は、多くの要因に基づいています。

したがって、一部のページを削除し、他のすべてのページでこのページへのすべてのリンクを更新した場合、Googleはそれをすぐには認識せず、削除されたページをインデックスに登録しようとします。