40TBのデータを重複排除する方法は？

私は、3つのファイルシステムで最大40TBのデータを持つ研究クラスターを継承しました。データは約15年前までさかのぼり、さまざまな理由で研究者が互いにデータをコピーし、その後コピーに固執するだけで、かなりの量の重複が発生する可能性が最も高くなります。

fdupesやrmlintなどの重複排除ツールについて知っています。このような大規模なデータセットで動作するものを探しています。すべてのデータをクロールするのに数週間（または場合によっては数か月）かかるかどうかは気にしません。しかし、RAMで何らかの形で非常に効率的なツールを見つけるか、RAMでなくファイルに必要なすべての中間データを保存できるツールを見つける必要があります。このすべてのデータを1つのセットとしてクロールすると、RAM（64GB）が使い果たされると想定しています。

現在、900GBツリーでfdupesを試しています。処理の25％であり、RAMの使用量は常にゆっくりと増え続けており、現在は700MBです。

または、プロセスをディスクマップRAMを使用するように指示する方法がありますので、はるかに多く利用可能であり、システムRAMを使用しませんか？

CentOS 6を実行しています。

または、プロセスをディスクマップRAMを使用するように指示する方法がありますので、はるかに多く利用可能であり、システムRAMを使用しませんか？

はい、スワップドライブと呼ばれます。おそらく既にお持ちでしょう。RAMが不足することを心配している場合は、これを増やすことから始めるのが良いでしょう。ただし、自動的に機能するため、特別なことをする必要はありません。

私はfdupesを心配しません。それを試して、それは問題なく動作するはずです。

ハッシュキーに基づいて重複を見つけることはうまく機能し、非常に高速です。

find -not -empty -type f -printf "%s\n" | sort -rn | uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate

（hash、mtime）=> filepathを辞書にプッシュするか、エントリが既に存在する場合は削除するファイルをマークして、ツリーをたどるクイックアプリを作成します。ハッシュは、最初のNバイトで計算されたMD5になります。小さなNでハッシュを行い、次に大きなNでハッシュを使用して、いくつかの異なるパスを実行できます。

たぶん、Pythonの20行または30行未満でこれを行うことができます（os.walk（）を使用）。