データを並べ替えずに一意の結果のみを取得する方法は？

$ cat data.txt 
aaaaaa
aaaaaa
cccccc
aaaaaa
aaaaaa
bbbbbb
$ cat data.txt | uniq
aaaaaa
cccccc
aaaaaa
bbbbbb
$ cat data.txt | sort | uniq
aaaaaa
bbbbbb
cccccc
$

必要な結果は、元のファイルのすべての行を表示して、ファイル内のステートメントの元の順序を維持しながら、（連続したものだけでなく）すべての重複を削除することです。

ここで、この例では、実際に探していた結果は

aaaaaa
cccccc
bbbbbb

uniq一般的にこの一般化された操作を実行するにはどうすればよいですか？

perl -ne 'print unless $seen{$_}++' data.txt

または、次の無駄な使用がcat必要な場合：

cat data.txt | perl -ne 'print unless $seen{$_}++'

ここだawkPerlを持たないシステムのための翻訳は、：

awk '!seen[$0]++' data.txt
cat data.txt | awk '!seen[$0]++'

johnには次のツールがありますunique：

usr@srv % cat data.txt | unique out
usr@srv % cat out
aaaaaa
cccccc
bbbbbb

単一のコマンドラインで追加のツールなしで同じことを実現するには、もう少し複雑です。

usr@srv % cat data.txt | nl | sort -k 2 | uniq -f 1 | sort -n | sed 's/\s*[0-9]\+\s\+//'
aaaaaa
cccccc
bbbbbb

nlプリントは、私たちがそうならば、ラインの前に数字を行sort/ uniqその背後に、我々は行の元の順序を復元することができます。sedあとで行番号を削除するだけです;）

私はこれを使用することを好みます：

cat -n data.txt | sort --key=2.1 -b -u | sort -n | cut -c8-

cat -n 行番号を追加し、

sort --key=2.1 -b -u （追加された行番号の後の）2番目のフィールドでソートし、先頭の空白を無視して、一意の行を保持します

sort -n 厳密な数値順に並べ替えます

cut -c8- 列8からEOLまでのすべての文字を保持します（つまり、含めた行番号を省略します）

Perlには、という関数を含む使用可能なモジュールがありますuniq。したがって、Perlの配列にデータをロードした場合、このような関数を呼び出すだけで一意になりますが、元の順序は維持されます。

use List::MoreUtils qw(uniq)    
@output = uniq(@output);

このモジュールの詳細については、List :: MoreUtilsをご覧ください。