アーカイブ用ファイルシステム

ファイルシステムに複雑な読み取り専用データがいくつかあります。これには、svnリポジトリの特定のリビジョンの何千ものスナップショットと、回帰テストの出力が含まれています。スナップショット間で同一のファイルは、ハードリンクを使用してすでに重複排除されています。この方法では、ストレージ容量を大きくする必要はありませんが、それでも多くのiノードが消費されるため、fsckがメインファイルシステムにとって非常に長くなります。

これらのデータを別のファイルシステムに移動して、メインファイルシステムにあまり影響を与えないようにしたいと思います。提案はありますか？Squashfsは可能な選択肢のようですが、ハードリンクを効率的に処理できるかどうかを確認する必要があります。

それがabot fsckの遅さであれば、ext4を試しましたか？彼らはそれに未使用のiノードを見ないことでfsckを本当に速くするいくつかの機能を追加しました：

Fsckは非常に遅い操作です。特に最初のステップは、ファイルシステムのすべてのiノードをチェックすることです。Ext4では、各グループのiノードテーブルの最後に、未使用のiノードのリスト（安全のためにチェックサム付き）が格納されるため、fsckはそれらのiノードをチェックしません。その結果、使用されるiノードの数に応じて、fsckの合計時間が2倍から20倍に改善されます（http://kerneltrap.org/Linux/Improving_fsck_Speeds_in_Ext4）。未使用のiノードのリストを作成するのは、Ext4ではなくfsckであることに注意する必要があります。これは、ビルドされた未使用のiノードのリストを取得するためにfsckを実行する必要があり、次のfsck実行のみが高速になることを意味します（とにかく、Ext3ファイルシステムをExt4に変換するには、fsckを渡す必要があります）。このfsckの高速化に参加する機能もあります-「柔軟なブロックグループ」

Btrfsはスナップショットをネイティブでサポートしているため、重複排除にハードリンクを使用する必要はありません。btrfsファイルシステムを作成し、それを必要な最も古いリビジョンでロードし、スナップショットを作成して、現在の設定を再作成し、次に、スナップショットが必要な各時点までリポジトリを改訂して、それぞれでスナップショットを作成することができます。ステップ。これはハードリンクよりも効率的で、セットアップも簡単です。

また、squashfsはファイルを透過的に重複排除するので（確信はありませんが）、ハードリンクを処理しなくても、メリットが得られると思います。ファイルシステムのデータを変更する必要がない場合は、おそらくfsckをmd5sumに置き換えることができるため、squashfsが適しています。;）

私はこのファイルシステムで非常に良い経験があるので、XFSを好みます。しかし、私は本当にお勧めします、あなたはあなたのデータと提案されたすべてのファイルシステムでテストをすることです。

DataDomainをまさにその目的で使用しているショップがいくつかあります。

アーカイブスクリプトは非常に単純なものにすることができ（たとえば、tarまたはrsyncとcron）、ハードリンクやほとんどのファイルシステムでハードリンクできないディレクトリの管理について心配する必要はありません。帯域幅を節約する以外は、増分コピーは必要ありません。すべての魔法は、ブロックレイヤー内で発生します。15〜20 TBに相当する仮想データをホストする一方で、1〜2 TBに相当する実際のディスク領域を使用するのは珍しいことではありません。あなたはまだあなたのディスクバックアップのために十分に残っています。

データはNFSまたはiSCSIを介して提供されますが、それが問題であるかどうかはわかりません

FreeBSDがZFS v23を取得すると、残りのユーザーは重複排除を利用できるようになります。