重複ファイルを検索（および削除）する方法
回答:
これに使用fdupesします。これは、リポジトリからを使用してインストールできるコマンドラインプログラムですsudo apt install fdupes。あなたはそれを好きなように呼び出すことができfdupes -r /dir/ect/ory、それはデュープのリストを印刷します。fdupesには、シンプルなホームページとウィキペディアの記事もあり、さらにいくつかのプログラムがリストされています。
fdupes -r . -d -N最初のインスタンスを保存し、重複を削除する必要があります。私は首尾よく使用して単一のフォルダをクリアfdupes . -d -N再帰的に非
FSlintにはGUIとその他の機能があります。FAQの重複チェックアルゴリズムの説明：
1. exclude files with unique lengths
2. handle files that are hardlinked to each other
3. exclude files with unique md5(first_4k(file))
4. exclude files with unique md5(whole file)
5. exclude files with unique sha1(whole file) (in case of md5 collisions).
fslint 
sudo apt-get install fslint場合、インストールは現在fslint-guiパスに置かれているので、入力するだけでどこからでも実行できますfslint-gui。fslint-gui入力すると、どこに住んでいるかがわかりますwhich fslint-gui（Pythonスクリプトのように見えます）。
のリストはprograms/scripts/bash-solutions、重複を見つけて実行できますnix：
- dupedit：チェックサムなしで一度に多くのファイルを比較します。複数のパスが同じファイルを指している場合、ファイルをそれ自体と比較することを避けます。
- dupmerge：さまざまなプラットフォーム（Cygwin、* nix、LinuxなどのWin32 / 64）で実行
- dupseek：読み取りを減らすために最適化されたアルゴリズムを備えたPerl。
- fdf：Perl / cベースで、ほとんどのプラットフォーム（Win32、* nixなど）で実行されます。MD5、SHA1、およびその他のチェックサムアルゴリズムを使用
- freedups：指定したディレクトリを検索するシェルスクリプト。2つの同一のファイルが見つかると、それらを相互にハードリンクします。現在、2つ以上のファイルがそれぞれのディレクトリに存在していますが、データのコピーはディスクに1つだけ保存されています。両方のディレクトリエントリは同じデータブロックを指します。
- fslint：コマンドラインインターフェイスとGUIがあります。
- liten：md5チェックサムと新しいバイト比較アルゴリズムを使用した、Pure Python重複排除コマンドラインツール、およびライブラリ。（Linux、Mac OS X、* nix、Windows）
- liten2：元の Litenの書き直し。コマンドラインツールですが、SHA-1チェックサムを使用したより高速なインタラクティブモード（Linux、Mac OS X、* nix）
- rdfind：「オリジナル/既知の」ソース（複数のディレクトリが指定されている場合）で削除しないために、入力パラメーター（スキャンするディレクトリ）の順序に基づいて重複をランク付けする数少ないものの1つ。MD5またはSHA1を使用します。
- rmlint：コマンドラインインターフェイスと他のリントを見つけるための多くのオプションを備えた高速ファインダー（MD5を使用）
- ua：find（など）で動作するように設計されたUnix / Linuxコマンドラインツール。
- findrepe：重複ファイルの効率的な検索のために設計された無料のJavaベースのコマンドラインツール、それがジッパーや瓶内を検索することができます（GNU / Linuxでは、マックOS X、* NIX、Windowsの場合）。
- fdupe：Perlで書かれた小さなスクリプト。その仕事を迅速かつ効率的に行う。1
- ssdeep：Context Triggered Piecewise Hashingを使用してほぼ同一のファイルを識別します
rmlintは重複したdirsを見つけることができます。rmlint -T dd
この仕事をする別のスクリプトはrmdupeです。著者のページから：
rmdupeは、標準のLinuxコマンドを使用して、ファイル名や拡張子に関係なく、指定されたフォルダー内で重複ファイルを検索します。重複する候補が削除される前に、バイトごとに比較されます。rmdupeは、1つ以上の参照フォルダーに対して重複をチェックしたり、ファイルを削除する代わりにゴミ箱に入れたり、カスタムの削除コマンドを許可したり、指定したサイズのファイルに検索を制限したりできます。rmdupeにはシミュレーションモードが含まれており、実際にファイルを削除することなく、特定のコマンドに対して実行されることを報告します。
http://musicbrainz.org/による音楽関連の重複した識別と削除については、PicardとJaikoz が最適なソリューションです。Jaikoz曲ファイルのデータに基づいて、音楽に自動的にタグを付けます。曲を識別してすべてのメタデータを割り当てるために、曲の名前さえ必要ありません。無料版では1回の実行でタグ付けできる曲の数は限られていますが、何度でも実行できます。
私が使用komparator - sudo apt-get install komparator（Ubuntuの10.04+を手動モードで重複を見つけるためのGUIツールとして- ）。