Linuxを使用した自作の自動階層型ストレージソリューション?(メモリ-> SSD-> HDD->リモートストレージ)


13

システムにSSDを使用し、データHDDを使用することに関するこの質問に関連します。ただし、システムにこれを自動的に実行させたい場合を除きます...

できれば無料のオープンソースソフトウェアを使用して、ストレージの複数のレイヤーを持ち、それらの間でアイテムを自動的にプッシュすることは可能ですか?

EMC SAN-> EMC Centera自動アーカイブのような非常に高価なエンタープライズクラスのソリューションを知っていますが、この種の段階的なストレージが自動的に実行できるかどうか疑問に思いました。

これに複数のレイヤーを含めることができると便利です:メモリ-> SSD-> HDD->より遅いHDDまたはテープまたは他のアーカイブソリューション。

これを自動的に行うことができるファイルシステムはありますか?(ZFS、Btrfs、ハンマー?)

任意のUnixの私はどのようにこの作品に、それはLinuxや他のフレーバー(BSDなど)への移植である可能性が高いのかどうか興味があるよう-variantsは、罰金です。

回答:


14

ZFSは、Hybrid Storage Pool(HSP)と呼ばれるストレージレイヤーを使用しています。

  1. レイヤー:メモリ
  2. レイヤー:SSDベースの読み取りキャッシュ(L2ARC)および書き込みキャッシュ(個別のインテントログ(別名、slog))。
  3. レイヤー:(安価な)ハードディスク

HSPを使用すると、ハードディスクのみのソリューションと比較してSSDの利点を自動的に簡単に活用できます。HSPを使用するシステムは、後者よりも高速で安価です。参照してください。このリンクをいくつかの素晴らしい例や詳細については。

ZFSの階層ストレージ管理(HSM)に関する計画はあると思います(たとえば、自動データ移行(ADM) OpenSolarisプロジェクトを参照)が、現在の状態はわかりません。


これはまさに私が考えていたものです、ありがとう!(今はLinuxへの移植を支援しています...;)
David Gardner

この階層化ではなく、キャッシュと呼びます。キャッシュ手段が頻繁に使用ブロックのコピーを保持するという意味で、階層化移動遅い/速い記憶装置にデータを。正しく理解できれば、ZFSのインテントログを実際の書き込みキャッシュとは呼びません。
mrossi


5

TIERはあなたのニーズに応えているようです。これは、階層型ストレージを作成できるLinuxカーネルモジュールです。それ自体でパターンを学習し、ストレージへの配置を最適化するようです

http://www.lessfs.com/wordpress/?p=776


質問が古いのを見ました...ごめんなさい^^ '
ドラノール

2
古い質問を再活性化することは、それらの古い情報や古い情報で腐敗するよりも優れています!
デビッドガードナー

私は、この男が余分な容量のために冗長性を削減したいのではないかと心配しています(特にSSDが比較的小さく、信頼性が低い場合)。
東武

また、実験的なソフトウェアが最もバックアップを必要とする場合、彼がソリューションとしてレイドを提案することを心配しました。
東武

しかし、ここにはもう少し肯定的なフィードバックがあります:permalink.gmane.org/gmane.comp.file-systems.ceph.devel/8316-
東武

1

見つけたもので自分の質問に答える:

私はカーネルを更新して、追加された新しいものを調べていましたが、 (通常はリモートの)ファイルシステムをローカルファイルシステムにキャッシュできる「CACHEFILES」オプションがあります。少なくとも1レベルの階層で、これを使用して低速のストレージメカニズム(HDD)を高速のストレージメカニズム(SSD)にキャッシュできると思います。


このソリューションを試しましたか?どのように機能しますか?
スコリマ09年

1
Nevermind-今のところCacheFSはNFSとAFSのみをサポートしていることを知りました。
スコリマ2009年

これにネットワークファイルシステムを使用することは悪い考えではありません。カーネルファイルセットよりもはるかに速く成熟する傾向があります。CephまたはDRBDには、階層型ストレージに便利なモードがあるのだろうか。
東武

1

いくつかの関連リンク。YMMV。

http://code.google.com/p/fscops/-「オンライン階層ストレージマネージャー(OHSM)は、高コストストレージと低コストストレージ間でデータを自動的に移動するエンタープライズレベルのオープンソースデータストレージマネージャーに向けた最初の試みです。メディア。"。

http://www.tack.ch/unix/dmapi/-Linuxでの XFS + DMAPI

http://jfs.sourceforge.net/-Linuxでの JFS + DMAPI


OHSMプロジェクトは興味深いもののようです。現時点ではext2と2.6.30カーネルのみがサポートされていますが、うまく機能すれば、より多くのファイルシステムが得られると期待しています。
デビッドガードナー

そのプロジェクトは放棄されたように見え、最近の活動は2009
でし


0

LVM2スナップショットが思い浮かびます...しかし、実際には1つのスナップショットしかできません。


0

SAM-QFSはSunの既存の製品であり、昨年オープンソース化されました。CDDLなので、* BSDに直接移植することしかできませんでした。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.