「結果なし」ページにSoft 404エラーが蓄積しないようにするにはどうすればよいですか？

最近、GoogleウェブマスターツールでSoft 404エラーのリストが増えていることに気付きました。これらはすべて、「一致するものが見つかりませんでした」と報告する動的に生成された検索結果ページ用です。

私はない、Googleがで意味を理解ソフト404と、なぜ彼らは、これらのページのためにそれを報告しています。だから私<meta name="robots" content="noindex">はこれらのページに追加しました。

ただし、Googleはまだnoindexメタタグを使用しているページの新しいソフト404エラーを報告しています。

インデックスに登録しないように指示したページに対して、Googleがエラーを報告するのはなぜですか？

問題は、これらすべての不要なエラーがあるため、修正が必要な実際の問題があるかどうかを確認できないことです。

これらのページは404ステータスコードを返すはずだと言う人もいます。しかし、それは問題を404エラータブに移すだけです。さらに、Googleは結果ページがない場合にステータスコード200を返します。

これらのページのリンクをたどり、Googleにnoindexメタタグを表示したいため、robots.txtでアクセスをブロックしたくありません。さらに、これらをブロックするために使用できるパターンはありません。

コンテンツが以前は存在していたため、GoogleはこれらのURLを最初に見つけましたが、その後削除されました。私のPHPコードには、結果が見つからなかった理由を知る方法がないため、410ステータスコードを返すことができません。

実際の問題を見やすくするためにできることはありますか？

Googleがサイト検索ページをクロールしないようにする必要があります。Googleはサイト検索をまったくクロールしたくありません。この問題に関するGoogleのMatt Cuttsブログ投稿は次のとおり です。2007年3月10日、Matt Cuttsによる検索結果の検索結果。Googleは現在、サイトの検索結果をクロールしてGoogleのSERPに表示することを許可するサイトに積極的にペナルティを課しています。Googlebotが検索結果ページをクロールできるようにすることで、すべてのGoogle参照トラフィックを危険にさらすことになります。Googleレビュアーの1つのお気に入りのトリックは、「バイアグラ」などのスパム用語のサイト検索を使用することです。結果としてクロール可能なページが表示された場合（「バイアグラの結果が見つかりません」と表示されていても）、スパムサイトとしてサイトに手動のペナルティが適用されます。

サイト検索をに入れる必要がありますrobots.txt。Googlebotがコンテンツページをクロールできることを確認してください。その後、報告された新しいソフト404エラーの取得を停止します。

多数の404エラー（ソフト404エラーでさえ）は、サイトのランキングに影響を与えません。Googleは、インデックスに登録するかどうか、リンクするかどうかに関係なく、ユーザーが見つけてクロールできるすべてのページでエラーを報告します。エラー報告はあなたの利益のためだけのものであり、彼らはあなたが完全に通知されるべきであるように感じるので、彼らはこれを行います。

これはグーグルのジョン・ミューラーがそれについて言わなければならないことです：

1. 無効なURLでの404エラーは、サイトのインデックス作成やランキングに影響を与えません。1億個でも1000万個でも問題ありません。サイトのランキングに悪影響を与えることはありません。http://googlewebmastercentral.blogspot.ch/2011/05/do-404s-hurt-my-site.html
2. 場合によっては、ウェブサイトまたはCMS内の正当な構造上の問題が原因でクロールエラーが発生することがあります。どのようにわかりますか？クロールエラーの原因を再確認します。サイトの壊れたリンクがページの静的HTMLにある場合は、常に修正する価値があります。（ありがとう+ Martino Mosna）
3. 「明らかに壊れている」ファンキーなURLはどうですか？私たちのアルゴリズムがあなたのサイトを好むとき、彼らは、例えばJavaScriptで新しいURLを発見することを試みることによって、そのサイトでより優れたコンテンツを見つけようとするかもしれません。これらの「URL」を試して404を見つけたら、それはすばらしいことであり、期待されています。重要なものを見逃したくありません（ここに過度に接続されたGooglebotミームを挿入してください）。http://support.google.com/webmasters/bin/answer.py?answer=1154698
4. ウェブマスターツールでクロールエラーを修正する必要はありません。「修正済みとしてマーク」機能は、そこでの進捗を追跡したい場合にのみ役立ちます。ウェブ検索パイプラインでは何も変更されないため、不要な場合は無視してください。 http://support.google.com/webmasters/bin/answer.py?answer=2467403
5. ウェブマスターツールのクロールエラーは、いくつかの要因に基づいて優先度順にリストされています。クロールエラーの最初のページが明らかに無関係である場合、それ以降のページで重要なクロールエラーを見つけることはおそらくないでしょう。 http://googlewebmastercentral.blogspot.ch/2012/03/crawl-errors-next-generation.html
6. ウェブサイトのクロールエラーを「修正」する必要はありません。404を見つけることは正常であり、正常に構成されたWebサイトに期待されます。同等の新しいURLがある場合は、それにリダイレクトすることをお勧めします。それ以外の場合は、偽のコンテンツを作成したり、ホームページにリダイレクトしたり、robots.txtでこれらのURLを禁止したりしないでください。これらすべての理由により、サイトの構造を認識して適切に処理することが難しくなります。これらを「ソフト404」エラーと呼びます。 http://support.google.com/webmasters/bin/answer.py?answer=181708
7. もちろん、これらのクロールエラーが気になるURL（サイトマップファイル内のURLなど）に表示されている場合は、すぐに対処する必要があります。Googlebotが重要なURLをクロールできない場合、それらはGoogleの検索結果から削除され、ユーザーもアクセスできない可能性があります。