iconvがBOMでUTF-16を生成

この質問に触発され、iconvコマンドを使用して、BOMと指定されたエンディアンでUTF-16出力を生成できますか？

このiconvコマンドは、テキストをあるエンコーディングから別のエンコーディングに変換します。

例えば：

echo hello | iconv -f ascii -t utf-16

のUTF-16表現を生成します"hello\n"。

UTF-16ファイルは、常にではありませんが、Unicode文字の2バイトエンコーディングであるバイトオーダーマーク（BOM）で始まることがよくありますU+FEFF。最初の2バイトがFE FFまたはであるかどうかを確認することにより、BOMを含むUTF-16ファイルのエンディアンを判別できますFF FE。

このiconvコマンドには、UTF-16出力を生成するためのいくつかのオプションがあります。

$ iconv --list | grep -i utf-16
UTF-16//
UTF-16BE//
UTF-16LE//

このコマンド：

echo hello | iconv -f ascii -t utf-16be

BOMなしでビッグエンディアンUTF-16 を生成します。エンディアンを指定した場合、出力でそれを示す必要がないと想定しているようです。同様に、utf-16leBOMなしのリトルエンディアンUTF-16を生成します。

この：

echo hello | iconv -f ascii -t utf-16

（私のx86 Ubuntuシステムで）BOMを使用してリトルエンディアンUTF-16 を生成します-しかし、リトルエンディアンシステムであっても、BOMを使用してビッグエンディアンUTF-16を生成する同様のコマンドのレポートを見ました。

いつでも手動でBOMを使用しutf-16beたりutf-16le、先頭に追加したりできますが、iconvコマンドを使用するだけの解決策を探しています。

エンディアンが生成するものを知っている場合の別の回避策は、次のとおり-t utf-16です。

echo hello | iconv -f ascii -t utf-16 | dd conv=swab 2>/dev/null

私は思います好きな使用にはのようなものです：

iconv -f ascii -t utf-16bebom # big-endian with BOM
iconv -f ascii -t utf-16lebom # little-endian with BOM

それiconvはサポートしていません。

編集：

x86 Mac OSXシステムにアクセスできる誰かが、次のコマンドの（コピーアンドペーストされた）出力を示すコメントを投稿できますか？

echo hello | iconv -f ascii -t utf-16 | od -x

いいえ、バイト順序を指定した場合iconv、BOMは挿入されません。

これはUnicodeコンソーシアムからのものです

Q：BOMの扱い方は？

A：ここに、従うべきいくつかのガイドラインがあります。

1. 特定のプロトコル（.txtファイルに関するMicrosoftの規則など）では、ファイルなどの特定のUnicodeデータストリームでBOMを使用する必要がある場合があります。このようなプロトコルに準拠する必要がある場合は、BOMを使用します。
2. タグ付けされていないテキストの場合、一部のプロトコルはオプションのBOMを許可します。それらのケースでは、
   • テキストデータストリームがプレーンテキストであることがわかっているが、エンコードが不明である場合、BOMを署名として使用できます。BOMがない場合、エンコーディングは何でもかまいません。
   • テキストデータストリームがプレーンなUnicodeテキストであることがわかっている（ただし、どのエンディアンではない）場合、BOMを署名として使用できます。BOMがない場合、テキストはビッグエンディアンとして解釈されます。
3. 一部のバイト指向プロトコルでは、ファイルの先頭にASCII文字が必要です。これらのプロトコルでUTF-8を使用する場合、エンコーディングフォームの署名としてBOMを使用しないでください。
4. データストリームの正確なタイプがわかっている場合（UnicodeビッグエンディアンやUnicodeリトルエンディアンなど）、BOMは使用しないでください。特に、 データストリームがUTF-16BE、UTF-16LE、 UTF-32BE、またはUTF-32LE として宣言されている場合は常に、BOMを使用してはなりません。

（私の強調）

iconvこれらのガイドラインの最後に忠実であるように努めていると思います。

更新。

余談

私の考えでは：

1. BOMを指定するオプションは、iconvの便利な追加機能です。

2. BOMなしのUTF-16LEファイルがあり、時には、追加の手間はあるものの、Windowsで使用可能。たとえば、メモ帳の[ファイルを開く]ダイアログでは、Microsoftの "UTF-16LE"の名前である "Unicode"を選択でき、BOMがないファイルでも（当然のことながら）機能するようです。

3. エクスプローラーでファイル名をダブルクリックするなどの通常の方法で、Windowsのメモ帳（XP）でUTF-16LEテストファイル（BOMなし）またはUTF-8テストファイル（BOMなし）を開くことができます。それは私には使いやすいようです。私はWindowsが時々エンコーディングを誤って推測することを知っています-この場合、ファイルを開くときにエンコーディングをメモ帳に通知する必要があります。この不便さは、Windowsでの使用を目的としたテキストファイルにはBOMを含めることが望ましいことを意味します。

4. 特定のアプリケーションがBOMを含むUTF-16LEファイル以外で機能しない場合、その特定のアプリケーションではBOMを含まないUTF-16LEファイルは使用できないことに同意します。

5. 私はと思われる場合は、あなたがUTF-8（BOMなし）ですべての作業を行うことができますが、それは長期的に最適なソリューションです。

ただし、「iconvコマンドを使用して、BOMと指定されたエンディアンでUTF-16出力を生成することはできますか」という質問に対する回答は、現在「いいえ」です。