GoogleはメンテナンスモードでDrupalサイトをクロールしますか？

私はAegirを使用して、test.mydomain.comというサブドメイン名でサイトのコピーを複製しています。これらのコピーは、スパマーや詮索好きな目を遠ざけるためにメンテナンスモードになっています。次に、これらのコピーを使用して、メインサイトmydomain.comへの変更をコミットする前に、テストと開発作業を実行します。

しかし、私はこれらのクローンされたサイトの存在によって私のSEOを傷つけていますか？メンテナンスモードになっているサイトをGoogleがクロールしますか？非常に多くの行き止まりのサブドメインがあると、ペナルティーが発生しますか？

Drupalサイトをメンテナンスモードにすると、非管理者には標準のメンテナンスモードのページが表示されます（そうするとキャッシュがクリアされたと想定）。応答を調べると、RFC 2616にある503のHTTPステータスコードで応答が返されていることがわかります。

503 Service Unavailable
現在、サーバーの一時的な過負荷またはメンテナンスのため、サーバーは要求を処理できません。これは、これが一時的な状態であり、少し遅れて緩和されることを意味しています。既知の場合、遅延の長さはRetry-Afterヘッダーに示される場合があります。Retry-Afterが指定されていない場合、クライアントは500応答の場合と同様に応答を処理する必要があります（SHOULD）。

そして、公式Googleウェブマスターブログから：

サイトがメンテナンスのため停止している場合、Googlebotに「メンテナンスのための停止」ページにインデックスを付けるのではなく、後で戻るように指示するにはどうすればよいですか？
200（成功）ではなく503（ネットワーク使用不可）のステータスを返すようにサーバーを構成する必要があります。これにより、Googlebotは後でページをもう一度試すことができます。

したがって、Drupalが正しいことを行い、次にGoogleが5XX以外のステータスコードを取得したときに、サイトとインデックスページに再度アクセスするという証拠が得られます。

それを許可するために何か特別なことをしない限り、Googleはメンテナンスモードでサイトをクロールできません。

表示するにはログインする必要があるため、googlebotには指定されたメンテナンスページが表示されます。

Googleからの追加のガイドラインについては、次のリンクを参照してください。

• ウェブマスター向けガイドライン：https : //support.google.com/webmasters/answer/35769?hl=en
• SEOガイドライン（複数ページのPDF）：http : //www.google.com/webmasters/docs/search-engine-optimization-starter-guide.pdf
• SEOガイドライン（1ページのPDF）：https : //storage.googleapis.com/support-kms-prod/SNP_3027140_en_v0

あなたの懸念：

メンテナンスモードが「ブロックしたいすべてのもの」を100％（！）でブロックしているかどうかわからない場合でも、「googleのようなユーザーがまだアクセスできるかどうか」が非常に心配です。...メンテナンスモードは、最初の場所で開発サイトをブロックするための悪い選択かもしれません。

勧告：

個人的には、単に.htpasswdを開発サイトに追加することをお勧めします。

aegirデプロイメント内でも自動化は簡単です。ブラウザーとすべてのコマンドラインツールがスキップできるので、邪魔になることはありません。あなたは他の人を入れることができます。それはグーグルなどに完全に100％サイトをブロックします。