2つのファイルに共通する行を見つけるUnixコマンド

2つ以上のファイルから共通の行を出力する可能性のあるUNIXコマンドを見つけたことがあると思いますが、その名前を知っている人はいますか？それよりもはるかに簡単diffでした。

あなたが探しているコマンドはcommです。例えば：-

comm -12 1.sorted.txt 2.sorted.txt

ここに：

-1：列1を抑制（1.sorted.txtに固有の行）

-2：列2を抑制します（2.sorted.txtに固有の行）

commコマンドをソートされていないファイルに簡単に適用するには、Bashのプロセス置換を使用します。

$ bash --version
GNU bash, version 3.2.51(1)-release
Copyright (C) 2007 Free Software Foundation, Inc.
$ cat > abc
123
567
132
$ cat > def
132
777
321

したがって、ファイルabcとdefには、「132」を含む1行が共通しています。ソートされていないファイルでcommを使用する：

$ comm abc def
123
    132
567
132
    777
    321
$ comm -12 abc def # No output! The common line is not found
$

最後の行は出力を生成しませんでした、共通の行は発見されませんでした。

次に、ソートされたファイルに対してcommを使用し、プロセス置換でファイルをソートします。

$ comm <( sort abc ) <( sort def )
123
            132
    321
567
    777
$ comm -12 <( sort abc ) <( sort def )
132

今、私たちは132行を手に入れました！

Perlのワンライナーを補足するために、以下はawk同等のものです。

awk 'NR==FNR{arr[$0];next} $0 in arr' file1 file2

これfile1により、からすべての行が配列arr[]に読み込まれ、各行file2が配列内に既に存在するかどうか（つまり、file1）がチェックされます。見つかった行は、に表示される順序で印刷されfile2ます。比較でin arrは、file2インデックスから配列までの行全体が使用されるため、行全体の完全一致のみが報告されることに注意してください。

もしかしてcomm？

ソートされたファイルFILE1とFILE2を行ごとに比較します。

オプションなしで、3列の出力を生成します。1列目にはFILE1に固有の行が含まれ、2列目にはFILE2に固有の行が含まれ、3列目には両方のファイルに共通の行が含まれています。

これらの情報を見つける秘訣は、情報ページです。GNUプログラムの場合、それらはmanページよりもはるかに詳細です。試してみてinfo coreutilsください。小さな便利なユーティリティがすべて一覧表示されます。

ながら

grep -v -f 1.txt 2.txt > 3.txt

2つのファイルの違い（2.txtにあり、1.txtにないもの）を提供するため、簡単に

grep -f 1.txt 2.txt > 3.txt

すべての一般的な行を収集します。これにより、問題を簡単に解決できます。ファイルを並べ替えている場合でも、commそれを行う必要があります。よろしく！

2つのファイルがまだソートされていない場合は、以下を使用できます。

comm -12 <(sort a.txt) <(sort b.txt)

そしてそれは機能し、comm: file 2 is not in sorted order 実行時のエラーメッセージを回避しますcomm -12 a.txt b.txt。

perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/'  file1 file2

awk 'NR==FNR{a[$1]++;next} a[$1] ' file1 file2

Linuxの限定バージョン（私が取り組んでいたQNAP（nas）など）：

• 通信は存在しませんでした
• grep -f file1 file2@ChristopherSchultzで述べられているようにいくつかの問題を引き起こす可能性があり、使用grep -F -f file1 file2が非常に遅かった（5分以上-終了しなかった-20MBを超えるファイルで以下の方法で2〜3秒以上）

だからここに私がやったことがあります：

sort file1 > file1.sorted
sort file2 > file2.sorted

diff file1.sorted file2.sorted | grep "<" | sed 's/^< *//' > files.diff
diff file1.sorted files.diff | grep "<" | sed 's/^< *//' > files.same.sorted

files.same.sorted元の順序と同じ順序である必要がある場合は、file1と同じ順序でこの行を追加します。

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file1 > files.same

または、file2と同じ順序の場合：

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file2 > files.same

参考までに、複数のファイルに対してこれを行う方法をまだ誰かが探している場合は、多くのファイルで一致する行を見つけることへのリンクされた回答を参照してください。

これらの2つの答え（ans1とans2）を組み合わせると、ファイルを並べ替えなくても必要な結果を得ることができると思います。

#!/bin/bash
ans="matching_lines"

for file1 in *
do 
    for file2 in *
        do 
            if  [ "$file1" != "$ans" ] && [ "$file2" != "$ans" ] && [ "$file1" != "$file2" ] ; then
                echo "Comparing: $file1 $file2 ..." >> $ans
                perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/' $file1 $file2 >> $ans
            fi
         done 
done

保存して実行権限（chmod +x compareFiles.sh）を与えて実行するだけです。現在の作業ディレクトリに存在するすべてのファイルを取得し、all-vs-all比較を実行して、「matching_lines」ファイルに結果を残します。

改善すべき点：

• ディレクトリをスキップ
• すべてのファイルを2回比較しないでください（file1とfile2およびfile2とfile1）。
• 多分一致する文字列の横に行番号を追加します

rm file3.txt

cat file1.out | while read line1
do
        cat file2.out | while read line2
        do
                if [[ $line1 == $line2 ]]; then
                        echo $line1 >>file3.out
                fi
        done
done

これでうまくいくはずです。