UTF-8ファイルからBOMを削除するにはどうすればよいですか？

BOMを使用したUTF-8エンコードのファイルがあり、BOMを削除したい。ファイルからBOMを削除するLinuxコマンドラインツールはありますか？

$ file test.xml
test.xml:  XML 1.0 document, UTF-8 Unicode (with BOM) text, with very long lines

ファイルにUTF-8 BOMが含まれているかどうかわからない場合はsed、BOMが存在する場合はこれを削除し（GNU実装を想定）、存在しない場合は変更を行いません。

sed '1s/^\xEF\xBB\xBF//' < orig.txt > new.txt

次の-iオプションを使用して、既存のファイルを上書きすることもできます。

sed -i '1s/^\xEF\xBB\xBF//' orig.txt

BOMはUTF-8では意味がありません。これらは通常、Microsoft OS上の偽のソフトウェアによって誤って追加されます。

dos2unix それを削除し、Windowsテキストファイルの他の特異性も処理します。

dos2unix test.xml

tail次のコマンドを使用して、ファイルからBOMを削除することができます。

tail -c +4 withBOM.txt > withoutBOM.txt

VIMを使用する

1. VIMでファイルを開く：

   vi text.xml
   

2. BOMエンコードを削除します。

   :set nobomb
   

3. 保存して終了：

   :wq
   

使用できます

LANG=C LC_ALL=C sed -e 's/\r$// ; 1 s/^\xef\xbb\xbf//' -i -- filename

ファイルの先頭からバイトオーダーマークがある場合は削除し、CR LF改行をLFのみに変換します。LANG=C LC_ALL=Cあなたは、コマンドがバイトオーダーマークを形成する3つのバイトがバイトとして扱われます（また、デフォルトのPOSIXロケールとして知られている）、デフォルトのCロケールで実行したいシェルに指示します。-ised のオプションはインプレースを意味します。を使用する-i.old場合、sedは元のファイルをとして保存しfilename.old、新しいファイル（変更がある場合は）をとして保存しますfilename。

私は個人的にこれを持っているのが好き~/bin/fix-msです。たとえば、

#!/bin/dash
export LANG=C LC_ALL=C
if [ $# -gt 0 ]; then
    for FILE in "$@" ; do
        sed -e 's/\r$// ; 1 s/^\xef\xbb\xbf//' -i -- "$FILE" || exit 1
    done
else
    exec sed -e 's/\r$// ; 1 s/^\xef\xbb\xbf//'
fi

すべてのCソースファイルとヘッダー（たとえば、MS-DOS時代の私の古いコード！）を言うためにこれを適用する必要がある場合は、実行するだけです。

find . -name '*.[CHch]' -print0 | xargs -r0 ~/bin/ms-fix

または、そのようなファイルを変更せずに見たいだけなら、実行できます

~/bin/ms-fix < filename | less

<U+FEFF>UTF-8ターミナルにい文字が表示されません。

最近、任意のUTF-8エンコードファイルでBOMを追加または削除するこの小さなコマンドラインツールを見つけました。UTFBOM Utils（githubの新しいリンク）

小さな欠点は、プレーンなC ++ソースコードのみをダウンロードできることです。メイクファイルを作成し（たとえばCMakeを使用）、自分でコンパイルする必要があります。このページではバイナリは提供されていません。