テキストファイル内の重複行を削除する方法は？

私の巨大な（最大2 GiB）テキストファイルには、その中のすべての行の約100の正確な複製が含まれています（ファイルはCSVのようなデータテーブルであるため、私の場合は役に立ちません）。

私が必要なのは、元のシーケンスの順序を維持しながら、すべての繰り返しを削除することです（ただし、これはパフォーマンスを大幅に向上させるために犠牲にすることができます）。結果では、各行は一意である必要があります。等しい行が100行ある場合（通常、重複はファイル全体に広がり、隣人にはなりません）、残された種類は1つだけです。

これを実装するためのプログラムをScalaで作成しました（Scalaを知らない場合はJavaを検討してください）。しかし、おそらくこれをより高速に実行できる、より高速なCで作成されたネイティブツールがあるのでしょうか。

更新：awk '!seen[$0]++' filenameファイルが2 GiB以下に近い限り、解決策はうまく機能しているように見えましたが、8 GiBファイルをクリーンアップしようとしても機能しなくなりました。4 GiB RAMを搭載したMacと4 GiB RAMおよび6 GiBスワップを搭載した64ビットWindows 7 PCで無限に実行されているように見えます。そして、この経験を考えると、4 GiB RAMを搭載したLinuxで試してみることに熱心ではありません。

awk#bash（Freenodeの）で見ソリューション：

awk '!seen[$0]++' filename

run以外に大きなメモリを必要としない標準ユーティリティを使用した単純な（明らかなことではありません）メソッドがあります。sortほとんどの実装では、巨大なファイルに対する特定の最適化（優れた外部ソートアルゴリズム）があります。この方法の利点は、インタープリター言語内ではなく、専用のユーティリティ内のすべての行のみをループすることです。

<input nl -b a -s : |           # number the lines
sort -t : -k 2 -u |             # sort and uniquify ignoring the line numbers
sort -t : -k 1n |               # sort according to the line numbers
cut -d : -f 2- >output          # remove the line numbers

すべての行が空白以外の文字で始まる場合、いくつかのオプションを省くことができます。

<input nl | sort -k 2 -u | sort -k 1n | cut -f 2- >output

大量の複製の場合、メモリに各行の単一のコピーを保存するだけでよい方法の方がパフォーマンスが向上します。いくつかの解釈オーバーヘッドがありますが、そのための非常に簡潔なawkスクリプトがあります（すでにenzotibが投稿しています）。

<input awk '!seen[$0]++'

あまり簡潔!seen[$0] {print} {seen[$0] += 1}ではありません。つまり、まだ表示されていない場合は現在の行を出力しseen、この行のカウンターをインクリメントします（初期化されていない変数または配列要素の数値は0です）。

長い行の場合、各行のスプーフィング不可能なチェックサム（暗号ダイジェストなど）のみを保持することにより、メモリを節約できます。たとえば、SHA-1を使用する場合、必要なのは20バイトと1行あたりの一定のオーバーヘッドだけです。しかし、ダイジェストの計算はかなり遅いです。この方法は、高速なCPU（特にダイジェストを計算するためのハードウェアアクセラレータを搭載したCPU）があり、ファイルのサイズに比べて多くのメモリと十分に長い行がない場合にのみ有効です。各行のチェックサムを計算できる基本的なユーティリティはありません。Perl / Python / Ruby /の解釈オーバーヘッドを負担するか、専用のコンパイル済みプログラムを作成する必要があります。

<input perl -MDigest::MD5 -ne '$seen{Digest::MD5::md5($_)}++ or print' >output

sort -u big-csv-file.csv > duplicates-removed.csv

出力ファイルはソートされることに注意してください。

重複排除されたファイルをメモリに保存する余裕があると仮定すると（データが実際に100倍に複製される場合、それは約20MiB +オーバーヘッドになるはずです）、Perlを使用してこれを非常に簡単に行うことができます。

$ perl -ne 'print unless $dup{$_}++;' input_file > output_file

これにより順序も保持されます。

%dup追加の無料ボーナスとして、必要に応じて、ハッシュから各行の出現回数を抽出できます。

必要に応じてawk、これも実行する必要があります（perlバージョンと同じロジック、同じ順序、dup変数に収集された同じデータ）：

$ awk '{if (++dup[$0] == 1) print $0;}' input_file > output_file

他の回答ではインプレースサポートが提供されていないため、以下にその1つを示します。

gawk -i inplace '!a[$0]++' file

http://www.computerhope.com/unix/uuniq.htmを使用できuniq ます

uniq ファイル内の繰り返される行を報告または除外します。

Python Oneライナー：

python -c "import sys; lines = sys.stdin.readlines(); print ''.join(sorted(set(lines)))" < InputFile

ここでの答えはどれも私のMacではうまくいきませんでしたので、私に合ったシンプルなpythonスクリプトを書きました。先頭/末尾の空白を無視しており、メモリ消費も気にしません。

import sys

inputfile = sys.argv[1]
outputfile = sys.argv[2]

with open(inputfile) as f:
    content = f.readlines()

content = [x.strip() for x in content]

my_list = list(set(content))

with open(outputfile, 'w') as output:
    for item in my_list:
        output.write("%s\n" % item)

上記をunique.pyに保存し、次のように実行します。

python unique.py inputfile.txt outputfile.txt

bash 4では、連想配列を利用する純粋なbashソリューションを使用できます。ここに例があります

unset llist; declare -A llist;
while read -r line; do
if [[ ${llist[$line]} ]]; then
  continue
else 
  printf '%s\n' "$line"
  llist[$line]="x"
fi
done < file.txt