Linuxでのブロックレベルの重複排除

NetAppはブロックレベルの重複排除（ASIS）を提供します。Linux（またはOpenSolaris、* BSD）で同じ機能を提供するファイルシステム（FUSEベースであっても）を知っていますか？

（私はハードリンクのような誤った重複排除には興味がありません）。

Linux用のlessFS、データ重複排除ファイルシステムを確認してください。まだベータ版ですが、試すことができます：

http://www.lessfs.com/

よろしく、

MV

OpenSolarisのZFSには重複排除が導入されていますが、その機能は現在利用できません。

これは、この冬のジェフボンウィックとビルムーアがプロトタイプを作成したもので、この夏の統合に取り組んでいます。したがって、OpenSolarisの次のリリース以降、または開発ブランチをいじくり回したい場合は、それが利用可能になるはずです。

データ重複排除に慣れていない可能性のある人にとって、これはデータがファイル（またはブロック）のレベルで分析され、ファイルシステム全体で同一のファイル/ブロックが小さなトークンに置き換えられる手法です。これには、ディスク上の有効サイズを大幅に縮小する効果があります。これは、コピーオンライトの一種と考えることができます。Wikiページを読んでください。

Linuxで、重複除去、ファイル、ブロックレベルを実行するために聞いたファイルシステムはありません。そのような獣はかなりプロセッサ集中型ですが、便利です。

OpenSolarisのZFS（ビルド128a以降）で重複排除が利用可能になりました。

1年後、しかしここにEBSDと呼ばれるOpenBSDのソリューションがあります：http : //www.peereboom.us/epitome/。リベラルなライセンスであれば、Linuxカーネルに組み込むこともできます。

インライン重複排除を行う、現在取り組んでいるプロジェクトを投稿しました。興味があるなら、こちらをご覧ください。それはヒューズに基づいており、[/ projects / freshmeat_linux / linux]で実行されます。

Linux用のdedupの無料実装については知りません。一部のストレージベンダーが、重複排除を行うVTL（仮想ストレージライブラリ）を備えたHSM（階層ストレージ管理）システムの使用を推奨しているのを見てきました。

また、検討することもできOccarina透明ではなく、DEDUPよりも良い結果を提供することができるシステムなどを。

Linuxでの重複排除に関するニュースはありませんか？opendedupを選択することもできますが、それを実行するJavaプラットフォームを指定すると、頭痛がしたくありません。はい、試してみましたが、このJavaマシンと他のマシンは、ストレージの応答時間と安全性に対する私のニーズにうまく対応できていません。

重複排除オプションは、LinuxのファイルシステムBTRFSおよびZFSで使用できます。BTRFSはLinuxでネイティブに開発され、オフラインの重複排除ツールを備えています。私は「オフライン」とは考えていません。fsをマウント解除する必要があります。オフラインとは、アクティブに書き込まれたデータが重複排除されないことを意味します。しかし、後で、重複を排除するためのツールを実行すると、現在保存されていると思います。おそらくツールはベータ版です。他の方法はZFS内です。ネイティブFUSEとなどAvaliable：http://zfsonlinux.org/ 。これはオンラインでの重複排除を実行しますが、残念ながらすべてがオンザフライで計算される必要があるため、書き込みが遅くなります。この動作はオンラインでもオフでも可能です。重複排除をオフにした後も、重複排除されたデータはすべて重複排除されたものとして保存されます。新しい書き込みは「複製」として保存されます。将来的にそのデータの重複排除を行う場合は、重複排除をオンにして、すべての「複製された」ファイルを書き直す必要があります。

ページにある利用可能なドキュメントを参照してください。書き込みと読み取りを高速化するには、より高速なデバイスをストレージプールに追加できます（特にSDDドライブまたはおそらくより高速なフラッシュUSB。デバイスの信頼性に注意してください）。

DRBDはまさにそれを実行し、それを本当にうまく実行します！マスター/スレーブまたはマスター/マスターを行うことができます:-)