UNIXでのnull文字の識別と削除

不要なnull文字（ASCII NULなど\0）を含むテキストファイルがあります。私はそれを表示しようとするとvi、私が見る^@通常のテキストでインタリーブシンボルを、。どうやって：

1. ファイルのどの行にnull文字が含まれているかを特定しますか？私はのためにgrepを試みている\0と\x0、これは動作しませんでした。

2. ヌル文字を削除しますか？stringsファイルで実行するとクリーンアップされますが、これが最善の方法かどうか疑問に思っていますか？

私は使用しますtr：

tr < file-with-nulls -d '\000' > file-without-nulls

コマンド引数の途中の入力リダイレクトが機能するかどうか疑問に思っている場合は、機能します。ほとんどのシェルは認識してI / Oリダイレクション（との契約だろう<、>実際には、コマンドラインで、...）どこでも。

ファイル内のnull文字を削除するには、次のsedコマンドを使用します。

sed -i 's/\x0//g' null.txt

このソリューションは、ファイルを適切に編集します。ファイルがまだ使用されている場合は重要です。-i'ext 'を渡すと、「ext」サフィックスが追加された元のファイルのバックアップが作成されます。

多数の不要なNUL文字（1バイトおきなど）は、ファイルがUTF-16でエンコードされiconvており、UTF-8への変換に使用する必要があることを示しています。

私は次のことを発見しました。これは、null文字がある行があれば、それを出力します。

perl -ne '/\000/ and print;' file-with-nulls

また、8進ダンプでは、nullがあるかどうかがわかります。

od file-with-nulls | grep ' 000'

ファイルの行が\ r \ n \ 000で終わっている場合は、\ n \ 000を削除してから、\ rを\ nに置き換えます。

tr -d '\n\000' <infile | tr '\r' '\n' >outfile

ex（インプレース）を使用してNULL文字を削除する方法の例を次に示します。

ex -s +"%s/\%x00//g" -cwq nulls.txt

複数のファイルの場合：

ex -s +'bufdo!%s/\%x00//g' -cxa *.txt

^{再帰性については、グロビングオプションを 使用できます**/*.txt（シェルでサポートされている場合）。}

sed とその-iパラメーターは非標準のBSD拡張であるため、スクリプト作成に役立ちます。

参照：ファイルがバイナリファイルであるかどうかを確認し、そうでないファイルをすべて読み取る方法は？

私が使用した：

recode UTF-16..UTF-8 <filename>

ファイル内のゼロを取り除くため。

私は同じエラーに直面しました：

import codecs as cd
f=cd.open(filePath,'r','ISO-8859-1')

エンコーディングを次のように変更して問題を解決しました utf-16

f=cd.open(filePath,'r','utf-16')