バイナリデータを含むテキストファイルをgrepする方法

grepが戻る

バイナリファイルtest.logの一致

例えば

echo    "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in zsh
echo -e "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in bash
grep re test.log

結果にline1とline3（合計2行）が表示されることを望みます。

それは使用することができtr、再びgrepの仕事をできるように、読み取り可能なデータに印刷できないデータを変換しますか？

あなたは介してデータファイルを実行することができますcat -v例えば、

$ cat -v tmp/test.log | grep re
line1 re ^@^M
line3 re^M

その後、さらに後処理してジャンクを削除できます。これはtr、タスクの使用に関するクエリに最も似ています。

grep -a

それよりも簡単になることはできません。

1つの方法は、とにかく単純にバイナリファイルをテキストとして扱うことですgrep --textが、これにより、バイナリ情報が端末に送信される可能性があります。出力ストリームを解釈する端末（VT / DECなど）を実行している場合、これは実際に良い考えではありません。

または、tr次のコマンドを使用してファイルを送信できます。

tr '[\000-\011\013-\037\177-\377]' '.' <test.log | grep whatever

これにより、スペース文字（改行を除く）未満および126より大きいものはすべて文字に変更され.、印刷可能ファイルのみが残ります。

すべての「不正な」文字を別の文字に置き換えたい場合は、次のCプログラムのようなものを使用できます。これは、古典的な標準入力フィルターです。

#include<stdio.h>
int main (void) {
    int ch;
    while ((ch = getchar()) != EOF) {
        if ((ch == '\n') || ((ch >= ' ') && (ch <= '~'))) {
            putchar (ch);
        } else {
            printf ("{{%02x}}", ch);
        }
    }
    return 0;
}

これ{{NN}}により、NNが表示されます。は、キャラクターの16進コードです。printf必要な出力スタイルに合わせてを調整できます。

あなたはここでそのプログラムが動作しているのを見ることができます：

pax$ printf 'Hello,\tBob\nGoodbye, Bob\n' | ./filterProg
Hello,{{09}}Bob
Goodbye, Bob

たとえば、「文字列」を使用して、バイナリファイルから文字列を抽出できます。

strings binary.file | grep foo

次のコマンドを使用して、grepにバイナリファイルを表示させることができます。

grep --binary-files=text

また、-o（--only-matching）を追加して、端末を混乱させるような大量のバイナリの意味不明なものを取得しないようにすることもできます。

Grep 2.21以降、バイナリファイルの扱いが異なります。

バイナリデータを検索するとき、grepはテキスト以外のバイトを行末記号として扱うようになりました。これにより、パフォーマンスが大幅に向上します。

つまり、バイナリデータでは、すべての非テキストバイト（改行を含む）が行終了文字として扱われます。この動作を変更する場合は、次のことができます。

• 使用します--text。これにより、改行だけが行末記号になります。

• 使用します--null-data。これにより、nullバイトのみが行のターミネーターになります。

grep -aは、grepがバイナリであると考えるファイルからgrepを強制的に検索および出力します。grep -a re test.log

James Selvakumarがすでに言ったようにgrep -a、トリックを行います。-aまたは--textを指定すると、Grepは入力ストリームをテキストとして処理します。マンページを参照してくださいhttp://unixhelp.ed.ac.uk/CGI/man-cgi?grep

試す

cat test.log | grep -a somestring

できるよ

strings test.log | grep -i

これは、出力を読み取り可能な文字列としてgrepに変換します。

Word Extractorツールを試すこともできます。Word Extractorをコンピューター内の任意のファイルで使用して、人間のテキストや単語を含む文字列をバイナリコード（exeアプリケーション、DLL）から分離できます。

これは、「strings」コマンドがインストールされていないシステムで使用したものです

cat yourfilename | tr -cd "[:print:]"

これはテキストを印刷し、印刷できない文字を一気に削除します。「cat -v filename」とは異なり、不要なものを削除するためにいくつかの後処理が必要です。バイナリデータの一部は印刷可能である場合があるため、優れたものの間で意味不明な点がまだあることに注意してください。あなたがそれを使うことができれば、文字列もこの意味不明なものを取り除くと思います。