2つの大きなファイルの違い

「test1.csv」があります

200,400,600,800
100,300,500,700
50,25,125,310

およびtest2.csvとそれが含まれています

100,4,2,1,7
200,400,600,800
21,22,23,24,25
50,25,125,310
50,25,700,5

今

diff test2.csv test1.csv > result.csv

とは異なります

diff test1.csv test2.csv > result.csv

どちらが正しい順序かわかりませんが、何か他のものが必要です。上記のコマンドは両方とも次のようなものを出力します

2 > 100,4,2,1,7
   3 2,3c3,5
   4 < 100,300,500,700
   5 < 50,25,125,310
   6 \ No newline at end of file
   7 ---
   8 > 21,22,23,24,25
   9 > 50,25,125,310

差のみを出力したいので、results.csvは次のようになります。

100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

私が試したdiff -qし、diff -s彼らはトリックをしませんでした。順序は関係ありません。重要なのは、違いだけを見たいということです。

grep -FvF 大きなファイルではなく小さなファイルでトリックを行いました

最初のファイルには500万行以上が含まれ、2番目のファイルには1300行が含まれています。

そのため、results.csvは〜4,998,700行になるはずです。

私も試してみましたgrep -F -x -v -f が、うまくいきませんでした。

の仕事のように聞こえcommます：

$ comm -3 <(sort test1.csv) <(sort test2.csv)
100,300,500,700
    100,4,2,1,7
    21,22,23,24,25
    50,25,700,5

で説明されているようにman comm：

   -1     suppress column 1 (lines unique to FILE1)

   -2     suppress column 2 (lines unique to FILE2)

   -3     suppress column 3 (lines that appear in both files)

したがって、-3ファイルの1つに固有の行のみが印刷されることを意味します。ただし、それらは見つかったファイルに応じてインデントされます。タブを削除するには、次を使用します。

$ comm -3 <(sort test1.csv) <(sort test2.csv) | tr -d '\t'
100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

この場合、ファイルをソートする必要さえありません。上記を単純化して次のことができます。

comm -3 test1.csv test2.csv | tr -d '\t' > difference.csv

使用grepしてbashプロセス置換：

$ cat <(grep -vFf test2.csv test1.csv) <(grep -vFf test1.csv test2.csv)
100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

出力を次のように保存するにはresults.csv：

cat <(grep -vFf test2.csv test1.csv) <(grep -vFf test1.csv test2.csv) >results.csv

• <()あるbashプロセスの置換パターンは、

• grep -vFf test2.csv test1.csv のみに固有の行が見つかります test1.csv

• grep -vFf test1.csv test2.csv のみに固有の行が見つかります test2.csv

• 最後に、結果を要約します。 cat

または、Oliが提案したように、コマンドのグループ化も使用できます。

$ { grep -vFf test2.csv test1.csv; grep -vFf test1.csv test2.csv; }
100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

または、次から次へと実行します。どちらもSTDOUTに書き込みを行っているため、最終的に追加されます。

$ grep -vFf test2.csv test1.csv; grep -vFf test1.csv test2.csv
100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

行の順序が関係ない場合は、awkまたはを使用しますperl。

awk '{seen[$0]++} END {for (i in seen) {if (seen[i] == 1) {print i}}}' 1.csv 2.csv

を使用grepして、共通の行を取得し、それらを除外します。

grep -hxvFf <(grep -Fxf 1.csv 2.csv) 1.csv 2.csv

内部grepは共通行を取得し、外部grepはこれらの共通行と一致しない行を見つけます。

以下の--*-line-format=...オプションを使用しますdiff

diff必要なものを正確に伝えることができます-以下で説明します：

diff --old-line-format='%L' --new-line-format='%L' --unchanged-line-format='' f1.txt f2.txt

printf数値形式と同様に、非常に詳細な方法でdiffの出力を指定することができます。

最初のファイルの行test1.csvは「古い」行と呼ばれ、2番目の行はtest2.csvは「新しい」行です。diffファイル内の変更を確認するために使用される場合、それは理にかなっています。

必要なオプションは、「古い」行、「新しい」行、および「変更されていない」行のフォーマットを設定するためのものです。
必要な形式は非常に単純です。
新しい行と古い行の変更については、行のテキストのみを出力する必要があります。%Lは、行テキストのフォーマット記号です。
変更されていない行については、何も表示しません。

これにより--old-line-format='%L'、サンプルデータを使用して、などのオプションを記述し、すべてをまとめることができます。

$ diff --old-line-format='%L' --new-line-format='%L' --unchanged-line-format='' test1.csv test2.csv
100,4,2,1,7
100,300,500,700
21,22,23,24,25
50,25,700,5

パフォーマンスに関する注意

ファイルのサイズは異なるため、重要でない場合は入力ファイルを交換してみてください。 diff一方よりも他方をうまく処理できる可能。より良いのは、必要なメモリが少ないか、計算が少ないことです。

diff大きなファイルで使用するための最適化オプションがあります--speed-large-files。ファイル構造に関する仮定を使用しているので、あなたの場合に役立つかどうかは明らかではありませんが、試してみる価値があります。

フォーマットオプションについては、man diff下で説明します--LTYPE-line-format=LFMT。

順序を保持する必要はないので、単純に：

sort test1.csv test2.csv | uniq -u

• sort test1.csv test2.csv：マージおよびソートtest1.csvとtest2.csv
• uniq -u：重複のない行のみを出力します