Googleがインデックスに登録した開発サイト

8

私はサブドメイン（上の私たちのサイトの新バージョンを開発していたdev.oursite.com）とのrobots.txtとDisallowサイトがGoogleや他の検索エンジンでインデックス化しまったので、いくつかの点で置き換えられてしまいました。結果など何も表示されていませんが、内容がすべて重複しているため、表示されないようにします。

サブドメインがなくなったので、各ページをからdev.oursite.com/page-nameにリダイレクトする301がありますhttp://oursite.com/page-name。

Googleに表示されないように開発サイトを削除するために他に必要なことはありますか？最終的には自然に消えるのでしょうか？

— カイル
ソース

4

：Googleは、このために役立つFAQページがあるsupport.google.com/webmasters/bin/...

— chrisjlee

7

GoogleウェブマスターツールのURL削除ツールをご覧ください。また、私は思います代わりにそれらを得るためにそれらをリダイレクトの404ページを超えて、将来的に、より速く取り除くのrobots.txtあなたはにドロップする可能性がrel="canonical"必ずGoogleがDEVサイトは、メインサイトの単なるコピーであることを知っているとすることはないようにするためにインデックス付き。

— ヨシャク
ソース

3

開発サイトがインデックスに登録されることを常に心配しています。robots.txtやを信頼していませんがmeta noindex、robots.txtを使用していますが、不便ではない場合はパスワードでサイトを保護しています。しかし、もう1つのオプションは、.htaccessを使用して、社内のIPを除くすべてのユーザーと、同僚や開発者のアクセスを拒否することです。クラスCを追加するだけです。

— アナジオ
ソース

1

これが最良の方法です。403一連のアドレスまたはアドレスブロックを除く全員。世界の残りの部分は消え去り、それを見る必要がある人だけが見ることができます。この質問の事実の後ですが、将来のために知っておくと良いでしょう。カスタムなど、サードパーティの開発者からのプログラミング、でもアップグレード試験のための打ち上げ後民間アクセスのdevのサイトを必要とするかもしれない

— フィアスコLabsの

1

Joshakによって提供された正しい答えに加えて、これを防ぐ方法についてのヒントを提供したいと思います。

このまったく同じ問題を解決するために私が行ったのは、vhostのApache httpd定義でrobot.txtを強制することです。この方法では、開発中のWebサイト内のコードによって、「禁止」が消えたり変更されたりする可能性はありません。私のvhost定義はすべて次のようになります。

<VirtualHost *:80>
    DocumentRoot /var/www/html/Hosting/test.example.com/newsite.com
    ServerName newsite.com.test.example.com
    ServerAlias *.newsite.com.test.example.com
    UseCanonicalName on
    RewriteEngine on
    RewriteRule ^/robots.txt /var/www/no-indexing-robots.txt [NC,L]
</VirtualHost>

— ニールス・バジェス
ソース