robots.txtで相対サイトマップURLを使用できますか?


191

robots.txtに、サイトマップファイルの次の相対URLを記述できますか?

sitemap: /sitemap.ashx

または、次のようにサイトマップファイルの完全な(絶対)URLを使用する必要がありますか?

sitemap: http://subdomain.domain.com/sitemap.ashx

なぜ私は不思議に思う:

  • ユーザーがaccountname.domain.comでブログを作成できる新しいブログサービスwww.domain.comを所有しています。
  • 私はワイルドカードを使用しているため、すべてのサブドメイン(アカウント)は "blog.domain.com"を指します。

blog.domain.comにrobots.txtを入れて、検索エンジンがサイトマップを見つけられるようにしました。ただし、ワイルドカードにより、すべてのユーザーアカウントが同じrobots.txtファイルを共有しているため、2番目の方法を使用できません。そして今のところ、txtファイルにurl rewriteを使用することはできません。(IISの新しいバージョンでこれを処理できると思いますか?)

回答:


318

sitemaps.orgの公式ドキュメントによると、完全なURLである必要があります:

robots.txtファイルを使用して、サイトマップの場所を指定できます。これを行うには、完全なURLを含む次の行をサイトマップに追加するだけです。

Sitemap: http://www.example.com/sitemap.xml

31
@unorの例では、大文字のSを使用したサイトマップに注意してください。Robots.txtでは大文字と小文字が区別されるため、これは重要です。
BodgeIT 2016年

19
そして例トピックに関する、robotstxt.org指定したファイルは、指定するrobots.txt資本R.なし
khargoosh

サイトがhttpsをロードしている場合、httpで言及されたサイトマップURL。これで大丈夫ですか?または、プロトコルに基づいてサイトマップURLを配置する必要がありますか?
Shams 2017

4
@Shams:サイトマップにリストされているURLは、サイトマップファイルと同じプロトコルと同じホストを使用する必要があります。サイトがhttp および httpsで利用できる場合は、サイトマップを1つだけ(正規のバリアントと共に)提供する必要があります。
または、2017

2

Googleクローラーは十分にスマートではなく、相対URLをクロールできないため、クロール可能性とインデックス作成可能性を高めるために絶対URLを使用することを常にお勧めします。

したがって、このバリエーションは使用できません

> sitemap: /sitemap.xml

推奨される構文は

Sitemap: https://www.yourdomain.com/sitemap.xml

注意:

  • 「サイトマップ」の最初の文字を大文字にすることを忘れないでください
  • 「サイトマップ」の後にスペースを置くことを忘れないでください:

-2

私の親愛なる友人への良い技術的で論理的な質問。robots.txtファイルでは、サイトマップの相対URLを使用することはできません。サイトマップの完全なURLを使用する必要があります。

「sitemap:https : //www.example.com/sitemap_index.xml」を使用することをお勧めします

上記のURLでは、コロンの後にスペースを入れています。私もディーパックをサポートしたいです。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.