GoogleサイトマップがGoogle検索結果に表示されないようにします


23

次のsite:検索クエリの結果のように、GoogleサイトマップファイルがGoogle検索結果に表示されないようにするにはどうすればよいですか。

検索結果のサイトマップ

そもそもGoogleが検索結果にサイトマップファイルを表示することを選択する理由がわかりません。これらのファイルは、人間が使用するためのものではありません。

Googleがクロールして処理できるようにする必要があるため、robots.txtでそれを禁止することはできません。処理後に検索結果に表示させたくないだけです。


1
ほら 面白い。私が考えているのは、サイトにリンクがあるか、サイトマップファイルに表示されるかどうかだけです。同様に、robots.txtファイルでそれを参照するかどうかが不明な場合もあります。私はそうは思わないでしょう、ただ考慮すべきことです。サイトマップはGoogle WMTからのみ提供していますが、この問題はまだ見ていません。サイトマップを公開したくないことは理解できます。私は公開したくない。ハッカー/スクレーパーが多すぎます。
closetnoc

3
この特定のサイトで私がしている/sitemap.xmlに記載されているrobots.txtの他のサイトマップの異なるセットへのリンクが好きなことをして、/sitemap-123.xml/sitemap-124.xml。私は毎日サイトマップを再生成し、数値は毎日変わります。インデックスが作成されるのはかなり古いものです。自分のサイトのどこにもリンクしていませんが、他のサイトがどこかにリンクしている可能性があります。
スティーブンオステルミラー

1
使用されていない場合は、削除されていることを確認してから、robots.txtファイルで除外すると、SERPからかなり迅速に削除されます。奇妙なことに、robots.txtはかなり高速ですが、Google WMTのURLの削除は永遠に(私にとっては数か月)かかります。
closetnoc

1
XMLサイトマップをGWMTアカウントに送信しましたか?
オレグ

3
サイトマップファイルは今日まで存在していました。私はそれを削除し、今で/sitemap.xml はこの特定のサイトマップがインデックスから外れると推測します。今後もGoogleが検索ユーザーに表示しないようにしたいと思います。
スティーブンオステルミラー

回答:


18

GoogleはXMLサイトマップのインデックスを作成します(XMLファイルと同様)。GoogleがURLを認識し、有効な応答を返す場合、Googleの包含ルールに合格し、インデックスが作成される可能性があります。個人的には、GWTを介してサイトマップを送信し、Sitemap:robots.txtに参照を含めるだけで、インデックスを作成するにはこれで十分です。

これらのファイルがGoogleによってインデックスに登録されないようにするための推奨される方法はX-Robots-Tag、XMLサイトマップを提供するときにHTTP応答ヘッダーを含めることです。例えば:

X-Robots-Tag: noindex

robots METAタグをHTMLファイルに含めるように、X-Robots-Tagヘッダーはあらゆるタイプのファイルに使用できます。

参照:このドキュメント(2008年11月から!)は、XMLサイトマップを処理する際の応答の使用に関して、非常に独自のJohn Mueller(Google)を引用しているようですX-Robots-Tag
はい、GoogleはXMLサイトマップファイルのインデックスとランク付けを行います

詳細については、Googleの開発者ガイドをご覧ください:
RobotsメタタグとX-Robots-Tag HTTPヘッダーの仕様


X-Robots-Tag: noindexヘッダーコードはどこに書きますか?インサイドsitemap.xmlrobots.txt
xameeramir

1
@studentこれはHTTP応答ヘッダーであるため、それらのファイルを(HTTP応答ヘッダーの一部として)提供するに設定する必要があります-「内部」に設定することはできません。これらのファイルの提供方法に応じて、サーバー側のコードで設定できます(例:PHPheader('X-Robots-Tag: noindex',true))またはApacheを使用している場合は.htaccessファイルまたはサーバー構成でこれを設定できます。サンプルコードについては、Stephenの回答を参照してください。上記にリンクされているGoogleの開発者ガイドも参照してください。
MrWhite

8

X-Robots-Tagの使用に関するMrWhiteの答えは、これを行う正しい方法のようです。

.htaccessまたはApache構成ファイルで使用できるコードを次に示します。(参照:WebmasterWorld-SERPに表示されるサイトマップ-これを防ぐ方法?

<Files ~ "sitemap.*\.xml(\.gz)?$">
  Header append X-Robots-Tag "noindex"
</Files>

nginxのは以下のような構成になります。(参照:Yoast X-Robots-Tagの例

location ~* sitemap.*\.xml(\.gz)?$ {
    add_header X-Robots-Tag "noindex";
}

2

なぜ重要なのですか?

SERPでサイトマップを実際に見つけることができる場合、より大きな問題があります。

代わりに、有用なコンテンツでページを立ち上げることに重点を置きます。そうすれば、サイトマップを見つけることさえ非常に困難になります。とにかくあなたがその時点で気にするということではありません。

PS

ほとんどすべての人がサイトマップを同じ場所に保持しています。だから誰かがあなたがそれを保管している場所を見つけたいと思ったら、彼らはそうするでしょう:)


4
サイト検索にGoogleを使用していて、使用中にサイトマップを見つけました。ユーザーがクリックするのは非常に混乱するでしょう。
スティーブンオステルミラー

サイト検索にGoogleを使用すると思われるユーザーは何人ですか?
dasickle

3
ページ上部の検索ボックスに検索語を入力するすべてのユーザー。
スティーブンオステルミラー

その場合。サイト検索にswiftype.comのようなものを使用することを検討しましたか?あなたが使用できる他のトップがあります。結果を並べ替え、削除、追加できます。また、素晴らしい統計などを取得します。
dasickle

-6

以下をrobots.txtに入れます

User-agent: *
Disallow: /sitemap.xml

代わりに、Googleウェブマスターツールを使用してサイトマップを送信してください。


1
ロジックを明確にしてください-最初の文が最後の文と矛盾しているように見えますか?
MrWhite

5
Googleはrobots.txtでブロックされているサイトマップを引き続きクロールしますか?アサーションをサポートするための参照はありますか?
スティーブンオステルミラー

4
sitemap.xmlを許可しない場合、クロールされなくなります。あなたが起こりたいことではありません!
マックス14

2
Googleは、robots.txtが許可されていないドキュメントをクロールしません。とにかく、とにかく...サイトマップが含まれています。
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.