非常に大きなデータプール（数十から数百のギグ）で重複する写真を見つけるにはどうすればよいですか？

約100 GBのデータ（長年にわたって収集された）を扱っているときにうまく機能する、優れた写真重複検出ユーティリティを誰かが提案できますか？

Ubuntuで動作するものを好むでしょう。

前もって感謝します！

編集：重複が検出されたら、コレクションを再編成して重複を削除するのに役立つツールはありますか？

Edit2：難しい部分は、何千もの重複ファイルで構成される出力（fdupesの出力など）を取得したらどうするかを考え出すことです。

ディレクトリを安全に削除できるかどうか（つまり、ディレクトリに一意のファイルが含まれる場合）、どのディレクトリが他のディレクトリのサブセットであるかなどは明らかではありません。この問題の理想的なツールは、ファイルの複製を判別し、ファイルとフォルダーを再構築する強力な手段を提供できるはずです。（fslintのように）ハードリンクによってマージを行うと、実際にディスク領域が解放されますが、最初に重複を引き起こした根本的な問題（つまり、不良ファイル/ディレクトリ編成）は解決されません。

ImageMagickが助けになります。解決策の最初のステップは、コレクションのサイズを減らすことだと思います。写真をその内容で比較したい場合、特に一部が互いにわずかに変更されたバージョンである場合、非常に良い出発点はそれらをサムネイルに縮小してからサムネイルを比較することです。これは、似たような写真を見つけたい場合や、比較中に重要でない違いを「無視」したい場合に特に役立ちます。

私の提案は、大まかに言って次
のとおりです。1- ImageMagickのmogrifyツールを使用して、写真をサムネイルに縮小します。これには多少時間がかかりますが、実際の比較手順がはるかに高速かつ正確になります。
2- ImageMagickの比較ツールを使用すると、比較のしきい値を設定できます。つまり、85％の写真を見つけることができます。制御された実験を行って、最も好きなしきい値を見つけたいと思うでしょう。

オープンソースの写真ビューアー/オーガナイザーのGeeqieには、強力な重複検索機能があります。重複を見つけるためにいくつかの異なる戦略を使用できます。

• ファイル名（大文字と小文字を区別または区別しない）
• ファイルサイズ
• ファイルの日付
• 画像寸法
• MD5チェックサム。
• 類似の画像コンテンツ（いくつかのしきい値まで）

これにより、サムネイルを含むことができる結果リストが表示されるため、手動で確認できます。

これはおそらく数千のファイルでは遅くなりますが、チェックサムの一致が必要な場合を除き、それを使用して数日間実行するか、ケースに合わせた何かを見つけるか作成するよりもおそらく全体的な労力が少ないと思います。

あなたが望むことをするかもしれない「fdupes」と呼ばれる小さなユーティリティがありますか？

「fslint」と呼ばれる別のユーティリティもあります。これも試してみてください。（これにはGUIがあります）。

dupeGuru Picture Editionは、Windows、Mac OS X、Linux用のカスタマイズ可能な複製画像ファインダーです。

そこdupeGuruのいくつかのバージョンが（標準、音楽＆映像のエディション）だ、と絵版は、あなたが経由して視覚的に類似イメージを検索することができます比較アルゴリズムをブロックビットマップ（EXIF元画像のタイムスタンプ、または単に同一であるファイルのような）他の方法の中で、 。

除外されたフォルダー、iPhoto / Apertureライブラリのサポート、重複の検出方法とそれらの処理方法の大幅なカスタマイズなど、その他のさまざまな便利な機能があります。

写真の複製とはどういう意味ですか？コピーされたファイルが1つまたは2つだけ増えたなど、同一のファイルを意味しますか？または、同じように「見える」写真を意味しますか。

同一のファイルを意味する場合、すべてのファイルで「shasum」を使用し、結果を並べ替えて「uniq」で一意の行を見つけ、「diff」を実行して、削除されたものを確認できます。Ubuntuシェルで簡単に実行できます。

「bleachbit」と呼ばれるアプリケーションがあります。これは、サイズ、名前、その他のフィルターで重複ファイルを検出します。これは、ubuntuのsynapcticパッケージマネージャーからインストールできます。