ファイルのすべての行が一意であることを確認します

次のような行を含むテキストファイルがあります。

This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
.
.
.
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

すべての行の一意性をどのように確認できますか？

注：目的はファイルをテストすることであり、重複する行が存在する場合にファイルを変更することではありません。

[ "$(wc -l < input)" -eq "$(sort -u input | wc -l)" ] && echo all unique

Awkソリューション：

awk 'a[$0]++{print "dupes"; exit(1)}' file && echo "no dupes"

sort/ を使用uniq：

sort input.txt | uniq

重複行のみをチェックするには-d、uniq のオプションを使用します。これは、重複している行のみを表示し、ない場合は何も表示しません。

sort input.txt | uniq -d

TLDR

元の質問は不明確であり、OPは単にファイルのコンテンツの一意のバージョンを必要としていたことを読みました。以下に示します。OPは、更新された質問の形式で、ファイルの内容が一意であるかどうかを単に知りたいだけであると述べています。

ファイルの内容が一意であるかどうかをテストします

を使用sortして、ファイルが一意であるか、重複が含まれているかどうかを確認できます。

$ sort -uC input.txt && echo "unique" || echo "duplicates"

例

次の2つのファイルがあるとします。

$ cat dup_input.txt
This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

$  cat uniq_input.txt
A
B
C
D

これらのファイルを分析すると、それらが一意であるか、重複が含まれているかがわかります。

$ sort -uC dup_input.txt && echo "unique" || echo "duplicates"
duplicates

$ sort -uC uniq_input.txt && echo "unique" || echo "duplicates"
unique

元の質問（ファイルの一意の内容）

だけで行うことができますsort：

$ sort -u input.txt
This is a thread  139737186379520
This is a thread  139737194772224
This is a thread  139737203164928
This is a thread  139737312270080
This is a thread  139737505302272
This is a thread  139737513694976
This is a thread  139737522087680

私は通常sortファイルを使用してuniqから、重複の数をカウントするために使用しsort、リストの下部に重複をもう一度表示します。

提供した例に1つの複製を追加しました。

$ sort thread.file | uniq -c | sort
      1 This is a thread  139737186379520
      1 This is a thread  139737194772224
      1 This is a thread  139737203164928
      1 This is a thread  139737312270080
      1 This is a thread  139737513694976
      1 This is a thread  139737522087680
      2 This is a thread  139737505302272

私はuniqしばらくの間マニュアルページを読んでいませんでしたので、私は他の選択肢を簡単に調べました。重複を表示するだけの場合は、次の方法で2番目の並べ替えの必要がなくなります。

$ sort thread.file | uniq -d
This is a thread  139737505302272

重複がない場合、すべての行は一意です。

[ "$(sort file | uniq -d)" ] && echo "some line(s) is(are) repeated"

説明：ファイルの行を並べ替えて、繰り返される行を連続させます（sort）
等しいすべての連続した行を抽出します（uniq -d）。
上記のコマンドの出力がある場合（[...]）、次に（&&）メッセージを出力します。

これは、Perlの回答がなければ完了しません！

$ perl -ne 'print if ++$a{$_} == 2' yourfile

これにより、一意でない各行が1回だけ印刷されます。何も印刷されない場合、ファイルにはすべて一意の行が含まれます。

とを使用cmpしsortてbash：

cmp -s <( sort file ) <( sort -u file ) && echo 'All lines are unique'

または

if cmp -s <( sort file ) <( sort -u file )
then
    echo 'All lines are unique'
else
    echo 'At least one line is duplicated'
fi

これは、受け入れられた答えのように、ファイルを2回ソートします。