find2つのディレクトリで重複フ​​ァイルを見つけ、1つのディレクトリのファイルを別のディレクトリのファイルのハードリンクで置き換える簡単な方法（コマンドまたは一連のコマンド、おそらくを含む）を探しています。

状況は次のとおりです。これは、複数の人がオーディオファイルを保存するファイルサーバーで、各ユーザーが独自のフォルダーを持っています。複数の人がまったく同じ音声ファイルのコピーを持っている場合があります。現在、これらは重複しています。ハードドライブのスペースを節約するために、それらがハードリンクになるようにしたいと思います。

http://cpansearch.perl.org/src/ANDK/Perl-Repository-APC-2.002/eg/trimtrees.plにはperlスクリプトがあります。

コマンドラインで指定されたすべてのディレクトリを走査し、MD5チェックサムを計算し、同一のMD5を持つファイルを見つけます。それらが等しい場合、実際に等しい場合は実際の比較を行い、2つのファイルの2番目のファイルを最初のファイルへのハードリンクに置き換えます。

rdfindまさにあなたが求めることを行います（そしてjohny whyリストの順に）。重複を削除し、ソフトリンクまたはハードリンクのいずれかに置き換えることができます。組み合わせることでsymlinks、あなたもシンボリックリンクが絶対的または相対することができます。チェックサムアルゴリズム（md5またはsha1）を選択することもできます。

コンパイルされているため、ほとんどのスクリプトソリューションよりも高速です。time2009年のMac Miniの2600ファイルの15 GiBフォルダーでは、これが返されます

9.99s user 3.61s system 66% cpu 20.543 total

（md5を使用）。

ほとんどのパッケージハンドラー（Mac OS X用のMacPortsなど）で利用できます。

fdupesツールを使用します。

fdupes -r /path/to/folderディレクトリ内の重複のリストが表示されます（-rにより再帰的になります）。出力は次のようになります。

filename1
filename2

filename3
filename4
filename5

filename1とfilename2は同一であり、filename3、filename4およびfilename5も同一です。

私はhttp://jak-linux.org/projects/hardlink/hardlinkから使用します

これは「fslint」によって提供される機能の1つです。http： //en.flossmanuals.net/FSlint/Introduction

[結合]ボタンをクリックします。

主な目的はディスク容量を節約することなので、別の解決策があります。ファイルシステムレベルでの重複排除（およびおそらく圧縮）です。ハードリンクソリューションと比較して、他のリンクファイルに誤って影響を与える問題はありません。

ZFSには、プールバージョン23以降の重複除去（ファイルレベルではなくブロックレベル）と、かなり前からの圧縮があります。Linuxを使用している場合は、zfs-fuseを試すことができます。BSDを使用している場合は、ネイティブにサポートされています。

最近のLinuxには、https：//github.com/g2p/bedupがあり、btrfsファイルシステムで重複を排除していますが、1）スキャンのオーバーヘッドがあまりなく、2）ファイルは後で簡単に分岐できます。

重複するファイルを見つけるには、duffを使用できます。

Duffは、特定のファイルセット内の重複をすばやく見つけるためのUnixコマンドラインユーティリティです。

単に実行する：

duff -r target-folder

それらのファイルへのハードリンクを自動的に作成するには、bashまたは他のスクリプト言語でduffの出力を解析する必要があります。

aptitude show hardlink

説明：同じファイルの複数のコピーをハードリンクするハードリンクは、同じファイルの複数のコピーを検出し、それらをハードリンクに置き換えるツールです。

このアイデアはhttp://code.google.com/p/hardlinkpy/から引用されていますが、コードはゼロから書かれており、MITライセンスの下でライセンスされています。ホームページ：http : //jak-linux.org/projects/hardlink/

ここで言及したLinux用のハードリンクツールの多くを使用しました。私もUbuntuでext4 fsに固執しており、ハード/ソフトリンクにcp -lおよび-sを使用しています。しかし最近、cpのマニュアルページに軽量コピーがあり、一方が変更されるまで冗長ディスクスペースを節約することを意味します。

   --reflink[=WHEN]
          control clone/CoW copies. See below

       When  --reflink[=always]  is specified, perform a lightweight copy, where the 
data blocks are copied only when modified.  If this is not possible the
       copy fails, or if --reflink=auto is specified, fall back to a standard copy.

最初にファイル名をチェックすることで速度が上がると思います。2つのファイルに同じファイル名がない場合、多くの場合、それらが重複しているとは思わないでしょう。最も速い方法は、順番に比較することだと思われます：

• ファイル名
• サイズ
• md5チェックサム
• バイト内容

これを行う方法はありますか？見てduff、fdupes、rmlint、fslint、など

以下の方法がcommandlinefu.comでトップ投票されました：重複ファイルを検索（サイズに基づいて、次にMD5ハッシュ）

ファイル名の比較を最初のステップとして、サイズを2番目のステップとして追加できますか？

find -not -empty -type f -printf "%s\n" | sort -rn | uniq -d | \
  xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | \
  sort | uniq -w32 --all-repeated=separate

私はPerlのファンではないので、ここにbashバージョンがあります。

#!/bin/bash

DIR="/path/to/big/files"

find $DIR -type f -exec md5sum {} \; | sort > /tmp/sums-sorted.txt

OLDSUM=""
IFS=$'\n'
for i in `cat /tmp/sums-sorted.txt`; do
 NEWSUM=`echo "$i" | sed 's/ .*//'`
 NEWFILE=`echo "$i" | sed 's/^[^ ]* *//'`
 if [ "$OLDSUM" == "$NEWSUM" ]; then
  echo ln -f "$OLDFILE" "$NEWFILE"
 else
  OLDSUM="$NEWSUM"
  OLDFILE="$NEWFILE"
 fi
done

これにより、同じチェックサムを持つすべてのファイル（大きい、小さい、または既にハードリンクであるかどうか）が検出され、それらが一緒にハードリンクされます。

これは、追加の検索フラグ（サイズなど）とファイルキャッシュを使用して繰り返し実行するように大幅に最適化できます（そのため、毎回チェックサムをやり直す必要はありません）。よりスマートで長いバージョンに興味がある人は、投稿できます。

注：前述したように、ハードリンクは、ファイルを変更する必要がないか、ファイルシステム間で移動する必要がない限り機能します。

あなたが話しているのと似たようなことをするPerlスクリプトを作成しました。

http://pastebin.com/U7mFHZU7

基本的には、ディレクトリを走査し、その中のファイルのSHA1sumを計算し、ハッシュして一致をリンクします。これは、多くの場合に便利です。

あなたがMacのハードリンクまたは任意のUNIXベースのシステムで重複を交換したい場合は、SmartDupe試すことができますhttp://sourceforge.net/projects/smartdupe/は それを開発しています

applicatios FSLint（http://www.pixelbeat.org/fslint/）は、（コンテンツごとに）任意のフォルダー内のすべての等しいファイルを検索し、ハードリンクを作成できます。試してみる！

ホルヘ・サンパイオ

jdupes コメントで言及されていますが、ほとんどのディストリビューションでおそらく利用可能であり、非常に高速に実行されるため、独自の答えに値します（約1分で98％フル158GBパーティション（SSDドライブ）の2.7GBを解放しました）：

jdupes -rL /foo/bar

ハードリンクを行う場合は、そのファイルの権利に注意してください。通知、所有者、グループ、モード、拡張属性、時間、およびACL（これを使用する場合）はINODEに保存されます。これはディレクトリ構造に保存されているため、ファイル名のみが異なり、他のポイントはINODEプロパティを指します。この原因は、同じiノードにリンクされているすべてのファイル名が同じアクセス権を持っていることです。すべてのユーザーが他のユーザーにファイルを損傷する可能性があるため、そのファイルの変更を防止する必要があります。それは単純だ。それは十分です、すべてのユーザーが同じ名前で他のファイルを置きます。その後、iノード番号が保存され、すべてのハードリンクされた名前の元のファイルの内容が破棄（置換）されます。

より良い方法は、ファイルシステム層での重複排除です。BTRFS（前回非常に人気があった）、OCFSなどを使用できます。次のページをご覧ください：https : //en.wikipedia.org/wiki/Comparison_of_file_systems 、特にテーブルの機能と列データの重複排除。クリックして並べ替えることができます:)

特にZFSファイルシステムを見てください。これはFUSEとして利用できますが、この方法では非常に遅いです。ネイティブサポートが必要な場合は、http：//zfsonlinux.org/ページをご覧ください。次に、カーネルにパッチを適用し、次に管理用のzfsツールをインストールする必要があります。なぜLinuxがドライバーとしてサポートしていないのか、他の多くのオペレーティングシステム/カーネルの方法であることがわかりません。

ファイルシステムは、重複排除ファイルまたはブロックの2つの方法で重複排除をサポートします。ZFSはブロックをサポートしています。つまり、同じファイル内で繰り返される同じコンテンツを重複排除できます。他の方法は、データが重複排除される時間です。これは、オンライン（zfs）またはオフライン（btrfs）のいずれかです。

重複排除はRAMを消費することに注意してください。これが、FUSEでマウントされたZFSボリュームにファイルを書き込むと、パフォーマンスが劇的に低下する理由です。これはドキュメントに記載されています。ただし、ボリュームの重複排除をオンラインで設定できます。データの重複排除が必要な場合は、単に重複排除をオンに設定し、一部のファイルを一時ファイルに書き換えて、最終的に置き換えます。この後、重複排除をオフにして、完全なパフォーマンスを復元できます。もちろん、任意のキャッシュディスクをストレージに追加できます。これには、非常に高速な回転ディスクまたはSSDディスクを使用できます。もちろん、これは非常に小さなディスクでもかまいません。実際の作業では、これはRAMの代替です:)

Linuxでは、ファイルシステムの管理、スナップショットの作成などを行うとすべてが正常に機能するわけではないため、ZFSに注意する必要がありますが、設定を行って変更しない場合はすべて正常に動作します。また、Linuxをopensolarisに変更する必要があります。ZFSをネイティブにサポートします:) ZFSの非常に優れている点は、LVMと同様にファイルシステムとボリュームマネージャーの両方として機能することです。ZFSを使用する場合は必要ありません。詳細については、ドキュメントを参照してください。

ZFSとBTRFSの違いに注意してください。ZFSはより古く、より成熟しており、残念なことにSolarisとOpenSolaris（残念なことにoracleによって絞殺された）の下でのみです。BTRFSはより若いですが、前回は非常によくサポートされています。新鮮なカーネルをお勧めします。ZFSにはオンライン重複排除機能があり、すべてがオンラインで計算されるため、書き込み速度が低下します。BTRFSはオフライン重複排除をサポートしています。その後、これによりパフォーマンスは節約されますが、ホストが何もすることがない場合は、重複排除のためのツールを定期的に実行します。また、BTRFSはLinuxでネイティブに作成されます。たぶんこれはあなたにとってより良いFSです:)

ハードリンクは最良のアイデアではないかもしれません。1人のユーザーがファイルを変更すると、両方に影響します。ただし、ハードリンクを削除しても、両方のファイルは削除されません。さらに、ハードリンクが同じファイルの複数のコピーと同じ量のスペース（OSではなく、ハードディスク上）を占有するかどうかは完全にはわかりません。Windows（Link Shell Extensionを使用）によると、そうです。確かに、それはUnixではなくWindowsです...

私の解決策は、隠しフォルダーに「共通」ファイルを作成し、実際の重複をシンボリックリンクで置き換えることです...その後、シンボリックリンクはメタデータまたは2つの「ファイル」のみを記録する代替ファイルストリームに埋め込まれます1人がファイル名を変更したり、カスタムアルバムアートなどを追加したい場合など、互いに異なります。同じゲームやソフトウェアの複数のバージョンをインストールし、わずかな違いでも個別にテストするなど、データベースアプリケーション以外でも役立つ場合があります。

最も簡単な方法は、特別なプログラムdupeGuruを使用することです

ドキュメントが語ります

削除オプション

これらのオプションは、重複削除の実行方法に影響します。ほとんどの場合、それらを有効にする必要はありません。

削除されたファイルをリンク：

削除されたファイルは、参照ファイルへのリンクに置き換えられます。シンボリックリンクまたはハードリンクのいずれかで置き換えることができます。...シンボリックリンクは、ファイルのパスへのショートカットです。元のファイルが削除または移動されると、リンクが壊れます。ハードリンクは、ファイル自体へのリンクです。そのリンクは、「実際の」ファイルと同じくらい優れています。ファイルへのすべてのハードリンクが削除された場合にのみ、ファイル自体が削除されます。

OSXおよびLinuxでは、この機能は完全にサポートされていますが、Windowsでは、少し複雑です。Windows XPはサポートしていませんが、Vista以降ではサポートしています。ただし、機能を機能させるには、dupeGuruを管理者権限で実行する必要があります。