AWSのLinuxで大規模で拡張可能な共有ファイルシステムをどのように作成しますか?


8

単一のファイルシステムとして公開されている、AWSで大規模で拡張可能な共有ストレージを提供するための許容できる/合理的な/最善の方法は何ですか?

現在、1 TBのEBSボリュームを隔週で作成しており、NFSはno_subtree_checkとnohideを使用してエクスポートしています。このセットアップでは、個別のエクスポートがクライアントの単一のマウントの下に表示されます。この配置は適切にスケーリングされません。

私たちが検討したオプション:

  • LVM2とext4。resize2fsが遅すぎる。
  • LinuxのBtrfs。まだプライムタイムの準備ができていません。
  • Linux上のZFS。まだプライムタイムの準備ができていない(LLNLが使用しているが)
  • Solaris上のZFS。このコンボの将来は(私にとって)不確実であり、新しいOSが混在している
  • glusterfs。ほとんどは良い話ですが、恐ろしい(そしておそらく古い?)2つの話を聞きました。

理想的なソリューションは、共有、単一のfsビュー、簡単な拡張性、スナップショット、およびレプリケーションを提供します。

アイデアと経験を共有してくれてありがとう。


2
これで数字を実行しましたか?それは法外に高価であるように私を襲います...
マイケルハンプトン

良い質問。答えはちょっとですが、私たちは早いです。私たちのデータのニーズは高く、コンピューティングのニーズは爆発的です。したがって、どちらがよりコストがかかるかは明らかではありません。AWSが高価なストレージと安価なピークコンピューティングソリューションを備えているか、ローカルが高価なコンピューティングと安価なストレージを備えているかです。(完全にロードされたストレージコストが本当に安いとは思いもしません。)コストを削減するために、おそらくGlacierにアーカイブデータを隠しておきます(制約がたまたま機能します)。
リース

1
帯域幅のコストを忘れないでください。
マイケルハンプトン

ZFSについては、それはSolarisまたはFreeBSDのいずれかですが、あなたが言ったように、Solarisの将来はやや不確実であり、オープンソースのZFSはバージョン28(OSは何であれ)のままです。
大木

回答:


1

(LVMの上にある)XFSはどうですか?これはext4よりも成熟しており、ファイルシステムの増分ダンプを実行する可能性があります。そのウィキペディアの記事と、そこに参照されているext4に対するベンチマークを確認することをお勧めします


ありがとう、Petr。私はLVM + XFSコンボを検討(および忘れ)ていました。LVM2とXFSについては、主に不確実性と新しい操作の複雑さを巡って不安を感じています。私は何もない(つまり、努力なしで拡張可能なストレージ)ことを期待していませんが、私たちの努力とリスクを最小限にしたいと思います。たとえば、RAID1アレイの一部である1つのEBSボリュームを失うことにはどのような影響がありますか?それは問題ではないかもしれませんが、現時点ではそのような質問は私に不確実性をもたらします。ZFSとbtrfsの時代に、私はそのような複雑さを回避したいと思っていました。
リース

@Reeceの質問は、デバイスマッパーを信頼するかどうかです。iirc、LVMのほとんどは、実際にはdmによってサポートされるユーザー空間ツールです。( -参照2.6.33+けれどもあなたは、カーネルではない、あまりにもancinetを必要とWikiを)。
peterph
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.