VMwareディスクイメージを保存するNFSに最適なファイルシステムの選択

現在、複数のVMware ESXiサーバーのストレージとしてiSCSI SANを使用しています。追加の仮想マシン用にLinuxサーバーでNFSターゲットを使用することを調査しています。また、別のオペレーティングシステム（OpenSolarisなど）を使用することで大きなメリットが得られる場合は、そのアイデアを受け入れています。

非常に大きな連続ファイル（VMwareのディスクイメージなど）を好むLinuxベースのファイルシステムは何ですか？あるいは、この種のワークロード用にOpenSolarisでZFSをどのように見つけましたか？

（この質問はもともとSuperUserで尋ねられたものです。方法を知っていれば、ここで回答を自由に移行してください）。

ZFSをご覧になることをお勧めしますが、適切なパフォーマンスを得るには、専用デバイスをZFS Intent Log（ZIL）として選択する必要があります。基本的に、これは非常に高速（20-100K IOPS）で書き込むことができる小さなデバイス（数GB）で、ZFSは書き込みがストレージに同期されたことをすぐに確認できますが、実際にハードディスクへの書き込みをコミットするまで最大30秒待機しますあなたのプール。クラッシュ/停止のイベントでは、ZILのコミットされていないトランザクションがマウント時に再生されます。その結果、UPSに加えて、内部電源/スーパーキャパシタを備えたドライブが必要になる場合があります。これにより、停電が発生した場合、保留中のIOが永続ストレージに格納されます。専用のZILデバイスを使用しない場合、書き込みの待ち時間が長くなり、あらゆる種類の問題が発生する可能性があります。あなたがSunに興味がないと仮定して '

• DDRDrive X1 -ZIL用に明示的に設計されたPCIe x1カードの4GB DDR2 + 4GB SLCフラッシュ。書き込みはRAMに送られます。電力損失が発生した場合、スーパーキャパシタを使用して60秒未満でRAMをNANDに同期します。（50k-300k IOPS、直接$ 2000、.eduで$ 1500）
• Intel X25-E 32GB 2.5inch SSD（SLC、ただしスーパーキャップなし、3300書き込みIOPS）; [$ 390 @ Amazon] [11]
• OCZ Vertex 2 Pro 40GB 2.5インチSSD（スーパーキャップ、ただしMLC、20k-50k書き込みIOPS）; アマゾンで435ドル。

OpenSolaris / Nexenta + ZFSのセットアップが完了したら、OpenSolarisとESX boxenの間でブロックを移動する方法がかなりあります。最適なものは、既存のインフラストラクチャ（L3スイッチ、ファイバーカード）と優先度（冗長性、遅延、速度、コスト）に大きく依存します。ただし、iSCSI / FC / NFS機能のロックを解除するのに特別なライセンスは必要ないため、ハードウェアを持っているものを評価して、お気に入りを選ぶことができます。

• iSCSIターゲット（CPUオーバーヘッド、OpenSolarisでのTOEサポートなし）
• ファイバチャネルターゲット（ファイバカードは安くない）
• NFS（VMWare + NFSは細心の注意を要する場合があり、32マウントに制限されます）

評価に500ドルを費やすことができない場合は、ZILを無効にした状態と無効にした状態でテストして、ZILがボトルネックになっているかどうかを確認します。（おそらくそうです）。生産でこれをしないでください。まだたくさんのRAMとL2ARC用のSSDがなければ、まだZFS重複排除をいじらないでください。一度セットアップすれば間違いなく素晴らしいですが、dedupで遊ぶ前にNFSチューニングをいくつか試してみてください。1〜2 Gbのリンクが飽和状態になると、8 gb FC、10 gigE、およびinfinibandに成長の機会がありますが、それぞれ評価のためにも大きな投資が必要です。

私はこれを正確にはしません。私の経験では、Linux（特にCentOS 3/4/5）は一般にNFSサーバーには適していません。いくつかの問題を抱えていましたが、負荷がかかると、待ち時間とスループットが低下する傾向があることがわかりました。

今回のケースでは、バックツーバックLinuxのパフォーマンスをSolaris（Ultra-SPARC上）およびNetAppと比較しました。どちらも、アップルごとのパフォーマンスの観点と、「サーバーに負荷がかかっているときにレイテンシーについてほとんど文句を言わないエンジニア」という曖昧な観点で結果を返しました。Linux NFSサーバーを調整する試みは複数ありました。NetAppsシステムとSolarisシステムはどちらもそのまま使用できます。また、関連するSolarisシステムとNetAppシステムの両方が古いため、Linuxサーバーはすべての利点を備えていると主張することができ、それでも納得できませんでした。

時間がある場合は、OpenSolaris（現在はSolarisを使用するにはコストが高すぎます）、Linux、おそらくBSDの1つまたは2つのバリアントを使用して同じハードウェアをセットアップし、それらを競争させる価値があるでしょう。いくつかのパフォーマンスメトリック（たとえば、ストアでホストされているVMのディスクI / Oカウント）を考え出すことができる場合は、興味深いホワイトペーパーまたはインターネットの記事になるかもしれません。（時間があれば）

NFS全般に関して、NetAppの人々は、ベンチマークではNFSのコストはVMの5〜10％だけであると何度か言っていました。そして、アプリケーションがこれが問題になるほど敏感な場合は、仮想化すべきではありませんそもそも。

しかし、そのすべての時間と涙の後、私たちの非ローカルの実稼働VMストアはすべてiSCSIによって供給され、主にNetAppから供給されていることを告白する必要があります。

RAID 10 ZFS構成でOpenSolaris 2009/06を使用して、VMWare ESXiサーバーにNFSを提供しています。これは、これまでのニーズにかなり適しています。SATA Raidタイプのドライブ（Seagate ES.2 1TBドライブ）を使用しています。ただし、まだ調整が必要です。

私はVMwareのNFSデータストアの大ファンであり、NetAppには優れた実装があります。

TR-3808は、NetApp FC、iSCSI、およびNFSに接続された共有データストアのスケーリングを比較しており、優れた読み取りです。

ZFSに深く入り込む前に残っているZFS ARCの3年以上のバグを検討する必要があります。

http://bugs.opensolaris.org/bugdatabase/view_bug.do?bug_id=6522017

（これは、ハイパーバイザーのVM制限から範囲外になるため、厄介です！）