grepできるだけ早くするためのヒントがあるかどうか知りたいのですが。私は可能な限り迅速な方法で検索するためにかなり大きなテキストファイルのベースを持っています。-iオプションを取り除くことができるように、すべて小文字にしました。これにより、検索がはるかに高速になります。
また、私はことを発見した-Fと-Pモードが速く、デフォルトよりもあります。検索文字列が正規表現ではない場合（プレーンテキストのみ）は前者を使用し、正規表現が含まれる場合は後者を使用します。
誰かがスピードアップの経験がありgrepますか？たぶん、特定のフラグを使用して最初からコンパイルしたり（Linux CentOSを使用しています）、特定の方法でファイルを整理したり、何らかの方法で検索を並行させたりしますか？
"...or maybe make the search parallel in some way?"私はこれについて聞いて本当に興奮しています。 grep完全に並行して動作できるはずですが、検索はまだI / Oバウンドである可能性があります。
ack-grepか？
ack-grepより良いAgを使用してください！geoff.greer.fm/2011/12/27/the-silver-searcher-better-than-ack
回答:
GNU parallelを試してみてください。これには、以下での使用方法の例がgrep含まれています。
grep -rディレクトリを再帰的にgrepsします。マルチコアCPUでは、GNUparallelはこれを高速化できることがよくあります。find . -type f | parallel -k -j150% -n 1000 -m grep -H -n STRING {}これにより、コアごとに1.5ジョブが実行され、に1000個の引数が与えられ
grepます。
大きなファイルの場合、--pipeand--block引数を使用して入力をいくつかのチャンクに分割できます。
parallel --pipe --block 2M grep foo < bigfile
SSHを介して複数の異なるマシンで実行することもできます（パスワードを回避するためにssh-agentが必要です）。
parallel --pipe --sshlogin server.example.com,server2.example.net grep foo < bigfile
--color=alwaysgrepの色を保持するために使用します（これは、パイプでgrepを使用している場合にも当てはまります）
findがある場合-print0（ほとんどの場合）、を使用することをお勧めしますfind . -type f -print0 | parallel -0 -k …。私のインスタンスはman(1) parallel実際にこれを言っています。また、私はと疑うglobstarあなたが特定のファイルパターン後にしている場合は、これをさらに高速化することができます：shopt -s globstar; parallel -k -j150% -n 1000 -m fgrep -H -n STRING ::: **/*.c
catしたい場合はsudo、アクセスするbigfile
非常に大きなファイルを検索している場合は、ロケールを設定すると非常に役立ちます。
GNU grepは、UTF-8よりもCロケールの方がはるかに高速です。
export LC_ALL=C
Ripgrepは今や最速だと主張しています。
https://github.com/BurntSushi/ripgrep
デフォルトで並列処理も含まれます
-j, --threads ARG
The number of threads to use. Defaults to the number of logical CPUs (capped at 6). [default: 0]
READMEから
これは、Rustの正規表現エンジンの上に構築されています。Rustの正規表現エンジンは、有限オートマトン、SIMD、および積極的なリテラル最適化を使用して、検索を非常に高速にします。
どうやら--mmapを使用すると、一部のシステムで役立つ場合があります。
http://lists.freebsd.org/pipermail/freebsd-current/2010-August/019310.html
どのファイルに文字列が含まれているかを気にしない場合は、読み取りとgrepを2つのジョブに分割することをお勧めしgrepます。これは、小さなファイルごとに1回ずつ、何度も生成するのにコストがかかる可能性があるためです。
非常に大きなファイルが1つある場合：
parallel -j100% --pipepart --block 100M -a <very large SEEKABLE file> grep <...>
多くの小さな圧縮ファイル（iノードでソート）
ls -i | sort -n | cut -d' ' -f2 | fgrep \.gz | parallel -j80% --group "gzcat {}" | parallel -j50% --pipe --round-robin -u -N1000 grep <..>
私は通常、スループットを最大化するためにファイルをlz4で圧縮します。
一致するファイル名だけが必要な場合：
ls -i | sort -n | cut -d' ' -f2 | fgrep \.gz | parallel -j100% --group "gzcat {} | grep -lq <..> && echo {}
Sandroの回答に基づいて、彼がここで提供したリファレンスを見て、BSDgrepとGNUgrepを試してみました。私の簡単なベンチマーク結果は次のことを示しています。GNUgrepははるかに高速です。
したがって、元の質問「可能な限り最速のgrep」に対する私の推奨事項：BSD grep（たとえば、MacOSのデフォルト）ではなくGNUgrepを使用していることを確認してください。
私は個人的にgrepの代わりにag（シルバーサーチャー）を使用していますが、それははるかに高速であり、並列およびパイプブロックと組み合わせることができます。
https://github.com/ggreer/the_silver_searcher
更新：ユースケースによっては、agよりも高速なhttps://github.com/BurntSushi/ripgrepを使用するようになりました。
grepを使用して（特にパターンを変更するために）単一の大きなファイルを検索する方が速いことがわかったのは、並列フラグとともにsplit + grep + xargsを使用することです。例えば：
my_ids.txtという大きなファイルに検索したいIDのファイルがあるbigfileの名前bigfile.txt
splitを使用して、ファイルをパーツに分割します。
# Use split to split the file into x number of files, consider your big file
# size and try to stay under 26 split files to keep the filenames
# easy from split (xa[a-z]), in my example I have 10 million rows in bigfile
split -l 1000000 bigfile.txt
# Produces output files named xa[a-t]
# Now use split files + xargs to iterate and launch parallel greps with output
for id in $(cat my_ids.txt) ; do ls xa* | xargs -n 1 -P 20 grep $id >> matches.txt ; done
# Here you can tune your parallel greps with -P, in my case I am being greedy
# Also be aware that there's no point in allocating more greps than x files
私の場合、これにより、17時間の仕事が1時間20分の仕事になりました。ここには効率に関するある種のベルカーブがあると確信しており、明らかに利用可能なコアを超えても何の役にも立ちませんが、これは上記の要件に対する上記のコメントよりもはるかに優れたソリューションでした。これには、ほとんど（Linux）のネイティブツールを使用する際に、スクリプトと並行して使用する場合に比べて追加の利点があります。
MCE 1.508には、多くのCバイナリをサポートするデュアルチャンクレベルの{file、list}ラッパースクリプトが含まれています。agrep、grep、egrep、fgrep、およびtre-agrep。
https://metacpan.org/source/MARIOROY/MCE-1.509/bin/mce_grep
https://metacpan.org/release/MCE
-iを高速に実行したい場合は、小文字に変換する必要はありません。--lang = Cをmce_grepに渡すだけです。
出力順序は保持されます。-nおよび-bの出力も正しいです。残念ながら、このページで説明されているGNUパラレルには当てはまりません。私はGNUParallelがここで機能することを本当に望んでいました。さらに、バイナリを呼び出すときに、mce_grepはサブシェル（sh -c / path / to / grep）を実行しません。
もう1つの代替手段は、MCEに含まれているMCE :: Grepモジュールです。
元のトピックからのわずかな逸脱：googlecodesearchプロジェクトのインデックス付き検索コマンドラインユーティリティは、grepよりもはるかに高速です：https：//github.com/google/codesearch：
コンパイルしたら（golangパッケージが必要です）、次のコマンドでフォルダーにインデックスを付けることができます。
# index current folder
cindex .
インデックスは下に作成されます ~/.csearchindex
今、あなたは検索することができます：
# search folders previously indexed with cindex
csearch eggs
色付きの一致を取得するために、まだ結果をgrepにパイプしています。
grep、それらを適切にインデックス付けするための解決策を探すときが来たかもしれません（「最良の」解決策は、これらのファイルの種類によって異なります）。