内容に100％NUL文字を含むファイルを見つける方法は？

そのようなファイルを識別できるLinuxコマンドラインコマンドとは何ですか？

私の知る限り、findコマンド（またはgrep）はテキストファイル内の特定の文字列にのみ一致します。しかし、コンテンツ全体を一致させたい、つまり、行末文字を無視して\0+、どのファイルが正規表現に一致するかを確認したい。おそらくこのイディオムは機能するかもしれませんが、行を無視してgrepを作成する（そしてファイルをバイナリとして扱う）方法がわかりません。find . cat | grep

背景：ラップトップがフリーズすると、数日ごとにbtrfsパーティションの情報が失われます。書き込み用に開かれたファイルの内容はゼロに置き換えられます（ファイルのサイズはほぼそのままです）。私は同期を使用しますが、これらの偽のファイルを伝播させたくありません。バックアップから取得できるようにそれらを識別する方法が必要です。

grepPerl正規表現モードを使用して␀文字を作成できます。

$ echo -ne "\0\0" > nul.bin
$ echo -ne "\0x\0" > non-nul.bin
$ grep -P "[^\0]" *.bin
Binary file non-nul.bin matches

これを使用できます：

for path in *.foo
do
    grep -P "[^\0]" "$path" || echo "$path"
done

D_Byeが問題の根本を見つけることについて言っていることに同意します。

とにかく、ファイルに含まれているだけか、使用できる\0かどうかを確認\nするにはtr：

<file tr -d '\0\n' | wc -c

null / newlineおよび空のファイルに対して0を返します。

これらのファイルはスパースであると思われます。つまり、ディスクスペースが割り当てられておらず、ファイルサイズを指定するだけです（ファイルの場合duは0を報告します）。

その場合、GNU findを使用すると、次のことができます（ファイルパスに改行文字が含まれていないと仮定します）。

find . -type f -size +0 -printf '%b:%p\n' | grep '^0:' | cut -d: -f2-

これを実行できる小さなpythonプログラムを次に示します。

import sys
def chunkCheck(fileObject, chunkSize=1024):
    while True:
        data = fileObject.read(chunkSize)
        if not data:
            return False
        if data.strip("\0"):
            return True
sys.exit(chunkCheck(open(sys.argv[1])))

そして実際に：

$ printf '\0\0\0' > file
$ ./onlynulls file && echo "Only nulls" || echo "Non-null characters"
Only nulls
$ printf a >> file
$ ./onlynulls file && echo "Only nulls" || echo "Non-null characters"
Non-null characters

あなたは、検索者の使用して複数のファイルを確認することができ-exec、xargs、GNU parallel、および同様のプログラムを。あるいは、これは処理する必要があるファイル名を出力します：

files=( file1 file2 )
for file in "${files[@]}"; do
    ./onlynulls "$file" || printf '%s\n' "$file"
done

この出力を別のプログラムに渡す場合、ファイル名に改行を含めることができるため、別の方法で（適切に、\0）で区切る必要があることに注意してください。

多数のファイルがある場合、並列処理のオプションを使用することをお勧めします。これは、一度に1つのファイルのみを読み取るためです。

null文字 '\ 0'および改行文字 '\ n'のみを含むファイルを検索します。でsedの原因各ファイルには、行にnull以外の文字を見つけるとすぐに終了して検索します。
q

find -type f -name 'file-*' |
  while IFS= read -r file ;do 
      out=$(sed -n '1=; /^\x00\+$/d; i non-null
                      ; q' "$file")
      [[ $out == "1" ]] &&  echo "$file"
  done

テストファイルを作成する

> file-empty
printf '%s\n' 'line1' 'line2' 'line3'      > file-with-text           
printf '%4s\n' '' '' xx | sed 's/ /\x00/g' > file-with-text-and-nulls
printf '%4s\n' '' '' '' | sed 's/ /\x00/g' > file-with-nulls-and-newlines
printf '%4s'   '' '' '' | sed 's/ /\x00/g' > file-with-nulls-only

出力

./file-with-nulls-and-newlines
./file-with-nulls-only

このワンライナーは、GNU find、xargs、およびGNU grepを使用して100％のnulファイルを見つける最も効率的な方法です。

find . -type f -size +1 -readable -print0 | xargs -0 grep -LP "[^\x00]" --

他の提供された答えに対するこの方法の利点は次のとおりです。

• 非スパースファイルは検索に含まれます。
• 読み取り不能なファイルはgrepに渡されないため、Permission denied警告が回避されます。
• grep null以外のバイトを検出すると、ファイルからのデータの読み取りを停止します。
• 空のファイル（ゼロバイト）は結果に含まれません。
• より少ないgrepプロセスで複数のファイルを効率的にチェックします。
• 改行を含むパスまたはで始まるパス-は正しく処理されます。
• 結果xargsをさらに処理するために渡すことができます。
• Python / Perlを持たないほとんどの組み込みシステムで動作します。

-Zオプションを渡し、grep使用xargs -0 ...すると、100％NULファイルでさらにアクションを実行できます（例：クリーンアップ）：

find . -type f -size +1 -readable -print0 | xargs -0 grep -ZLP "[^\x00]" -- | xargs -0 rm --

また、findオプション-Pを使用してシンボリックリンクをたどらないようにすることもお勧めします。-xdevないようにし、ファイルシステム（たとえば、リモートマウント、デバイスツリー、バインドマウントなど）の走査を回避する。

行末文字を無視するために、次のバリアントが機能するはずです（ただし、これはそれほど良い考えではないと思います）。

find . -type f -size +1 -readable -print0 | xargs -0 grep -LP "[^\x00\r\n]" --

不要なファイル（100％NUL /改行文字）を削除してバックアップされないようにするなど、すべてをまとめます。

find -P . -xdev -type f -size +1 -readable -print0 | xargs -0 grep -ZLP "[^\x00\r\n]" -- | xargs -0 rm --

空のファイル（ゼロバイト）を含めることはお勧めしません。多くの場合、非常に 特定の 目的で存在します。

GNU sedを使用するには、-zオプションを使用できます。このオプションでは、行をゼロで終わる文字列として定義し、次のように空の行に一致して削除します。

if [ "$( sed -z '/^$/d' "$file" | head -c 1 | wc -c )" -eq 0 ]; then
    echo "$file contains only NULL!"
fi

中間のheadコマンドは最適化にすぎません。

Python

単一ファイル

エイリアスを定義します。

alias is_binary="python -c 'import sys; sys.exit(not b\"\x00\" in open(sys.argv[1], \"rb\").read())'"

試して：

$ is_binary /etc/hosts; echo $?
1
$ is_binary `which which`; echo $?
0

複数のファイル

すべてのバイナリファイルを再帰的に検索します。

IS_BINARY='import sys; sys.exit(not b"\x00" in open(sys.argv[1], "rb").read())'
find . -type f -exec bash -c "python -c '$IS_BINARY' {} && echo {}" \;

すべての非バイナリファイルを検索するには、で変更&&し||ます。