巨大なファイルから膨大な数のパターンをGrep
私は1日に約200,000行成長しているファイルを持っていますが、すべて3行のブロックで構成されています。 1358726575123 # key Joseph Muller # name carpenter # job 9973834728345 Andres Smith student 7836472098652 Mariah Anthony dentist これで、別のファイルから約10,000個のキーパターンを抽出できます1358726575123。次にfor、これらのパターンでループを実行し、最初のファイルと照合する必要があります。ファイルにそのようなパターンが含まれていない場合、さらに処理するためにパターンを3番目のファイルに保存します。 for number in $(grep -o '[0-9]\{12\}' file2); do # finds about 10.000 keys if ! grep -q ^$number$ file1; then # file1 is a huge file printf "$number\n" >>file3 # …