robots.txtを使用してサブドメインのみを禁止するにはどうすればよいですか？

私のコードベースは、いくつかの環境（ライブ、ステージング、DEV）およびサブドメイン（の間で共有されるstaging.example、dev.exampleなど）、および2つだけクロールすることが許容されるべきである（すなわち。www.exampleとexample）。通常は変更/robots.txtして追加しますがDisallow: /、コードベースが共有されているため、/robots.txtすべての（サブ）ドメインに影響を与えずに変更することはできません。

それについてどうやって行くのですか？

robots.txtサイトへのアクセスに使用したサブドメインに基づいて、別のファイルを提供できます。Apacheでこれを行う1つの方法は、.htaccessのmod_rewriteを使用して内部的にURLを書き換えることです。何かのようなもの：

RewriteEngine On
RewriteCond %{HTTP_HOST} !^(www\.)?example\.com$ [NC]
RewriteRule ^robots\.txt$ robots-disallow.txt [L]

上記の状態にすべての要求のためにそのrobots.txtホストが以外でどこwww.example.comかexample.com、そして内部にリクエストを書き換えますrobots-disallow.txt。そしてrobots-disallow.txt、Disallow: /ディレクティブが含まれます。

.htaccessファイルに他のディレクティブがある場合、このディレクティブは、ルーティングディレクティブの前にある、一番上にある必要があります。

robots.txt ルートに存在する場合にのみ機能します。

robots.txtからアクセスできるサブドメインWebサイトごとに個別にアップロードする必要がありますhttp://subdomain.example.com/robots.txt。

に以下のコードを追加します robots.txt

User-agent: *
Disallow: /

また<META>、すべてのページにRobots タグを挿入することもできます。

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

HTMLページからメタタグを削除し、サブドメインに応じて動的に作成します。たとえば、サブドメインdevを使用します。開発のため。したがって、ページロードイベントでは次のようになります。

  ' Check if domain is DEV or PROD and set robots accordingly meta tag in head
  Dim metatag As HtmlMeta = New HtmlMeta
  metatag.Attributes.Add("name", "robots")
  If CurrentURL.Contains("dev.advertise-it") Then
    metatag.Attributes.Add("content", "NOINDEX, NOFOLLOW")
  Else
    metatag.Attributes.Add("content", "INDEX, FOLLOW")
  End If
  Page.Header.Controls.Add(metatag)