単一のVMWareホストサーバーで100台の仮想マシンを実行する

私は長年VMWareを使用しており、数十の実稼働サーバーをほとんど問題なく実行しています。しかし、単一の物理ホストで20個を超えるVMをホストしようとはしませんでした。アイデアは次のとおりです。

1. Windows XPの機能が低下したバージョンは、512MBのRAMと4GBのディスク容量で動作できます。
2. 5,000ドルで、64 GBのRAMと4つのSASミラーを備えた8コアサーバークラスのマシンが手に入ります。
3. 上記の100台のVMがこのサーバーに収まるため、私のハードウェアコストはVMあたりわずか50ドルです。

誰かがVMWareでこの種のスケーラビリティを達成できるかどうかを知りたいですか？いくつかのテストを行ったところ、奇妙な問題にぶつかりました。20個のVMを起動すると、VMのパフォーマンスが劇的に低下し始めます。同時に、ホストサーバーにはリソースのボトルネックは表示されません（ディスクのアイドル率は99％、CPU使用率は15％未満、空きRAMは十分にあります）。

VMWareやその他の仮想化技術のスケーリングに関する成功事例を共有していただければ幸いです！

はい、できます。わずか384MiBのWindows 2003ワークロードでも十分であるため、512MiBはかなり高い推定値です。RAMは問題ではなく、CPUも問題ではありません。

100台のVMは少し急ですが、特にVMが非常にビジーにならない場合は実行可能です。1台のESXサーバーで60台のサーバー（Windows 2003およびRHEL）を簡単に実行できます。

VMware ESXについて話していると仮定すると、メモリをオーバーコミットできることも知っておく必要があります。VMが完全に指定されたメモリ割り当てを使用することはほとんどないため、ESXは利用可能なRAM容量以上をVMにコミットし、実際に「公式に」RAMを使用するよりも多くのVMを実行できます。

ほとんどの場合、ボトルネックはCPUまたはRAMではなくIOです。VMwareはマーケティングで膨大な量のIOPSを誇っていますが、プッシュが迫ると、SCSI予約の競合と限られた帯域幅により、VMwareのIOPSに近づく前に行き詰まります。

とにかく、20のVMパフォーマンスの低下は発生していません。使用しているESXのバージョンは何ですか？

そのような大規模な環境での1つの大きな問題は、防災とデータ保護です。サーバーが停止すると、100台のVMが停止します。

VMのある種のフェイルオーバーを計画し、障害が発生した場合にVMを保護する「VM以外の」管理を計画する必要があります。もちろん、この種の冗長性はコストの増加を意味します。そのため、そのような支出は、実際にその恩恵が見られるまで（不在によって）何度も承認されません。

VMホストは、いくつかの単一障害点の1つにすぎないことも忘れないでください。

• ネットワーク-VMホストのネットワークカードがダウンした場合はどうなりますか？
• メモリ-VMホストのメモリの一部が不良になった場合はどうなりますか？
• CPU-CPUコアが停止した場合、VMはどうなりますか？
• 電源-1本または2本の電源ケーブルしかありませんか？
• 管理ポート-VMのホスト管理にアクセスできないと仮定しますか？

これはほんの数例です。大規模なVMインフラストラクチャでは、データ損失の防止とVM損失の防止に注意を払う必要があります。

本番環境でのこの実行可能性に関する声明はありませんが、一般的なVMに対する重複排除によるディスクスペースをほとんど使用せずに約30分で32 ESXホスト（ホストあたり170）に5440 XPデスクトップをプロビジョニングする非常に興味深いNetAppデモがあります画像

http://www.youtube.com/watch?v=ekoiJX8ye38

私の推測では、あなたの制限はディスクサブシステムから来ています。それに応じてメモリとCPU使用率を考慮したようです。

決してそれをやったことはありませんが、サーバーハードウェアよりも多くのVMをサポートするのに十分なIOPを取得するために、ストレージよりもはるかに多くを費やすことをお約束します。100個すべてが同時にアクティブになっている場合、多くのIOPが必要になります。ネガティブに聞こえるわけではありませんが、1つのバスケットにたくさんの卵を入れていると考えましたか（シングルサーバーソリューションを求めているように聞こえますか？）

単一のホストで100台のVMを使用した場合のCPUの競合が最も心配です。プロセッサは仮想化されていないため、各マシンはCPUへのアクセスを待機する必要があることに注意する必要があります。VMWareエンジニアから％RDYフィールドの5を超えるものは非常に悪いと言われたESXTOPを見ると、競合を確認できます。

私の経験では、1台のホストで30〜40台のサーバーが実行されています（あまり実行していません）。

VMWare Server 1.0.6（Windows 2003の場合）に10個のホストがあり、定期的にIOの問題に遭遇しました（そして、ナイトリービルドが他のものと重複した場合、問題が発生します）。WindowsからESXi U3にアップグレードした後、パフォーマンスの問題は解消されました（夜間のビルドは失敗しなくなりました）。

また、SSDは回転するメディアよりもはるかに高いIOレートを持ちますが、特定の種類の書き込みパターン（ドライブに散らばる小さな書き込みの多くは、コントローラーに分散書き込みで適切に機能するスマート書き込みバッファリングキャッシュ）。

問題が発生した場合は、異なるドライブにSWAPファイルがあることを調査/テストすることをお勧めします。

それを行う場合は、新しいIntel 'Nehalem' Xeon 55xxシリーズプロセッサを使用することを強くお勧めします。これらのプロセッサはVMを実行するように設計されており、追加のメモリ帯域幅も非常に役立ちます。ああ、もし少数の大きなディスクよりももっと小さなディスクを使用できるなら、それは大いに役立つでしょう。ESXU4 over 3.5U4も使用できる場合。

16GのRAMを搭載したマシン上で、それぞれ512MのRAMで実行されているXP VMが20個あります。これより少ないと、ディスクにスワップされ、それがボトルネックになります。ただし、これらは常にアクティブなXP VMです。

VMwareとそのOverCommit機能により、各XPマシンにより多くのRAMをプッシュできるようになります。同様のマシンは同じページを共有するため、ディスク書き込みを減らすことができます。XP VMが10-20megの連続ディスクトラフィックを処理しているため、さらにマシンを追加しようとする設定を検討したいと思います。

VMWare Serverで100人のゲストを満足させることはできませんでしたが、ESXiの方がはるかに良い仕事をしていることがわかりました。そのため、ESXiと適切なサーバー（I / O、2、3個のI7チップ、64GBのRAMを拡散するためのいくつかのディスクミラー）を使用する場合、100 XP vmsは問題ではないようです。エンドユーザーに目に見える遅延はなく、ホストリソースは最大になりません（最もホットなのはCPUですが、通常は少なくとも70％のアイドル状態です）。

PS。この質問は、VMWareサーバーで苦労していたときに私に投稿されました。

前回確認したとき、VMwareは、VMごとに1つのvCPUを想定して、ESXの処理コアごとに4つ以上のVMを推奨していません。

これは、管理オーバーヘッドが要因になることを示唆しています。

8コアのボックスで実際に4倍のファクターを達成できるかどうかを確認したいと思います。