空のrobots.txtとないrobots.txtに違いはありますか？

ウェブサーバーでは、robots.txtが空であることに気付きました。空のrobots.txtとファイルがまったくない場合に違いがあるのではないかと思いました。

これら2つのケースでクローラーの動作は異なりますか？それでは、空のrobots.txtを削除するだけで安全ですか？

これら2つのケースでクローラーの動作は異なりますか？

robots.txtの空のファイルが本当に不許可ませんクロールを行う両方の、見つけていないものとは違いはありません。

ただし、この質問で示されているように、404クローラがrobots.txtファイルを要求すると、サーバーログに多くのエラーが表示される場合があります。

それでは、空のrobots.txtを削除するだけで安全ですか？

はい、上記の注意事項があります。

いいえ。違いはありません。

サーバーログに404エラーが記録されます。GoogleWeb Masterツールなどに登録している場合は、エラーは発生していませんが、クローラーロボットの動作に関しては同じです。気になるロボット。