ファイル内の数百の文字列に対してディレクトリ内の数千のファイルをgrepする方法

私はgrep声明を作成しようとしています、そしてそれは私を殺しています。arguments list too longエラーが出てもううんざりです。ファイルがありますsubset.txt。それを呼び出しましょう。これには、などの特定の文字列を含む数百行が含まれていMO43312948ます。私のオブジェクトディレクトリには何千ものファイルがあり、に記載されsubset.txtている文字列を含むすべてのファイルを別のディレクトリにコピーする必要があります。

私はこれから始めて、一致するファイルをオブジェクトディレクトリから返すだけにしました。

grep -F "$(subset.txt)" /objects/*

「bash：/ bin / grep：引数リストが長すぎる」というメッセージが表示され続ける

あなたはへのターゲットとしてディレクトリを渡すことができますgrepと-Rしてと入力パターンのファイル-f：

  -f FILE, --file=FILE
          Obtain patterns from FILE, one per line.  If this option is used
          multiple  times  or  is  combined with the -e (--regexp) option,
          search for all patterns given.  The  empty  file  contains  zero
          patterns, and therefore matches nothing.

   -R, --dereference-recursive
          Read all files under each directory,  recursively.   Follow  all
          symbolic links, unlike -r.

だから、あなたは探しています：

grep -Ff subset.txt -r objects/

一致するファイルのリストは次のようにして取得できます。

grep -Flf subset.txt -r objects/

したがって、最終的なリストが長すぎない場合は、次のようにすることができます。

 mv $(grep -Flf subset.txt -r objects/) new_dir/

それがargument list too longエラーを返す場合は、以下を使用します。

grep -Flf subset.txt -r objects/ | xargs -I{} mv {} bar/

また、ファイル名にスペースやその他の奇妙な文字が含まれている可能性がある場合は、（GNUを想定してgrep）使用します。

grep -FZlf subset.txt -r objects/ | xargs -0I{} mv {} bar/

最後に、バイナリファイルを除外する場合は、次を使用します。

grep -IFZlf subset.txt -r objects/ | xargs -0I{} mv {} bar/

使用する

grep -F -f subset.txt 

subset.txtファイルから読み取るようにgrepに指示します。

findを使用してファイルをウォークできます。

find . -type f -exec grep -F -f subset.txt {} \;

または

find . -type f -exec grep -F -f subset.txt {}  +

grepをさらに高速化したい場合は、実行する前にシェルでロケールを設定できます。つまり、「LC_ALL = c」を使用します。これはgrepに継承され、不要な場合はUnicode処理を無効にし、場合によってはgrepを大幅に高速化できます。これを文書化した素晴らしいブログがhttp://www.inmotionhosting.com/support/website/ssh/speed-up-grep-searches-with-lc-allにあります。このトリックは、grepだけでなく、bashシェルスクリプトも高速化できます。