301リダイレクトを介してサイトを移動する場合、robots.txtを設定して、ロボットが古いアドレスをクロールできないようにする必要がありますか？

作業中のサイトで、301リダイレクトを介してサブドメインを別のサブドメインに移動しました。ただし、古いサブドメインのrobots.txtを確認すると、robots.txtが含まれているため、検索エンジンのWebクローラーがクロールできないようになっています。

これは正しい動きですか？クローラーが古いサイトをクロールして301ステータスコードを表示することができないので、私は信じていません。

あなたの疑惑は正しい、あなたが述べた正確な推論で。ロボットが古いサイトにアクセスできないようにすると、ロボットは301リダイレクトを表示できなくなります。

クローラーが古いサイトをクロールして301ステータスコードを表示することができないので、私は信じていません。

はい、まさに-これは「正しい動き」ではありません。おそらくSEOを維持するために301リダイレクトを実装する場合、リダイレクトされるURLをブロックすると、検索エンジンがリダイレクトを確認し、新しいコンテンツにインデックスを作成できなくなります。

robots.txtはそのままにしておきますが、古いページと新しいページに適切なバージョンのCanonicalタグがあることを確認してください。これは、検索エンジンが起こったことを理解するのに役立ちます。