タグ付けされた質問 「robots.txt」

4
Googleに新しいrobots.txtファイルの読み取りを促す方法はありますか?
新しいサイトでrobots.txtファイルを更新しました。Googleウェブマスターツールは、前回の更新の10分前にrobots.txtを読み取ったと報告しています。 Googleにrobots.txtをできるだけ早く読み直すよう促す方法はありますか? 更新:サイト構成| クローラーアクセス| robots.txtをテストします。 ホームページアクセスショー: Googlebotはhttp://my.example.com/からブロックされています 参考までに、Googleが最後に読んだrobots.txtは次のようになります。 User-agent: * Allow: /<a page> Allow: /<a folder> Disallow: / 私は自分の足を撃ちましたか、それとも最終的にhttp:///robots.txt(前回読んだときのように)を読むでしょうか? 私が何をする必要があるかについてのアイデア


4
すべての仮想ホストに対してnginxでrobots.txtをグローバルに設定する方法
robots.txtnginx httpサーバー下のすべての仮想ホストを設定しようとしています。以下をmainに入れることで、Apacheでそれを行うことができましたhttpd.conf。 <Location "/robots.txt"> SetHandler None </Location> Alias /robots.txt /var/www/html/robots.txt 以下の行を(a)nginx.conf内に追加し、(b)conf.d / robots.confをインクルードして、nginxで同様のことを試みました location ^~ /robots.txt { alias /var/www/html/robots.txt; } 私は「=」を試してみて、仮想ホストの1つに置いてテストしました。何も機能していないようです。 ここで何が欠けていますか?これを達成する別の方法はありますか?
13 nginx  robots.txt 

4
Apacheサーバー上のすべてのドメインのrobots.txtファイルを作成する方法
仮想ホストを備えたXAMPP Apache開発Webサーバーのセットアップがあり、serpsがすべてのサイトをクロールしないようにしたいと考えています。これはrobots.txtファイルで簡単に行えます。ただし、すべてのvhostにdisallow robots.txtを含めたくないので、別のサーバーでサイトを公開するときにそれを削除する必要があります。 Apache構成ファイルを使用して、すべてのvhosts上のrobots.txtへのすべてのリクエストを単一のrobots.txtファイルに書き換える方法はありますか? もしそうなら、私に例を挙げてもらえますか?私はそれはこのようなものになると思います: RewriteEngine On RewriteRule .*robots\.txt$ C:\xampp\vhosts\override-robots.txt [L] ありがとう!
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.