robots.txtの行末形式は重要ですか？

簡単な質問：robots.txtには必ずUnixの行末を使用する必要がありますか、それとも問題ありませんか？

それは問題ではありません。仕様によると：

ファイルは、1つ以上の空白行（CR、CR / NL、またはNLで終了）で区切られた1つ以上のレコードで構成されます。

• CR =キャリッジリターン（つまり、\ r）
• CR / NL =キャリッジリターン/改行（つまり、\ r \ n）
• NL =新しい行（つまり\ n）

つまり、を使用できます\r。\n、または\r\nそれが動作します。