MDシミュレーション用にラボでクラスターを構築するよりも、クラウドでクラスターを構築する方が安いのはいつですか?


23

およそアンAmazon EC2の計算クラスタ費$ 800- $ 3年にわたって物理CPUコアあたり(デューティ・サイクルに応じて)1000年。私たちの最後のハードウェア取得で、私のラボはAmazonのクラスターと非常によく似た48コア相当のハードウェアを1コアあたり約300ドルでピックアップしました。

ここに何かが足りませんか?分子動力学シミュレーションなどの高CPUタスクのためにクラウドにクラスターを構築することが経済的に意味のある状況はありますか?それとも、自分でダングマシンを構築してベビーシッターをするだけの方がいいのでしょうか。

(私の研究室では、サーバールームで電気料金を支払っていません(少なくとも直接ではありませんが、この利点があっても、Amazonは依然として非常に高価なようです)。


2
言えることの1つは、クラスターの管理と保守に必要な人件費が不足していることです。アカデミックな環境では、誰かがクラスター管理者になり、OSシステムの更新とアップグレード、新しいソフトウェアのインストール、クラスターがダウンしたときの技術サポートなど、面倒な作業をすべて行わなければなりません。これらのタスクは無益であり、管理者のスキルによっては、多くの時間が必要になる場合があります。EC2クラスターは、クラスターのメンテナンスに必要な工数を削減します。
ジェフオックスベリー

1
さて、明らかにハードウェアは安価です。以前の職場での192コアクラスターの3年間のコストを計算した結果、コアあたり年間850ドルを超えることが判明しました。すべての我々は、電力系統に持っていた問題とは言うまでもありません...冷却
フリスト・イリエフ

@GeoffOxberry人件費について良い点を指摘します。私の研究室では私が管理者なので、そのようなことは考えていません。時にはイライラすることもありますが、それは愛の働きです。私が現金を持っていて、どこかに置いてあれば、このブログの(まばらな)指示に従って、独自のWatsonを構築しようとします。
TEL

@HristoIlievそんなに安かったとは思いません。デルの「軽く使用される」クラスタを使用する場合は、コアあたり約200ドルまでコストを削減できます。以前の職場のハードウェアについて詳しく教えてください。
TEL

1
これは、各ノードに16 GiB ECC RAMを備えた12個のツインSupermicroデュアルソケットXeonシャーシ(24ノード、48個のE5420)、2つのTesla M2090sを備えた1つのシングルソケットNehalemマシン、24ポートInfiniBandスイッチ、1つのカスタムビルドシステムです4台のディスク、2台の10 kVA UPS、2台のエアコンを備えたファイルサーバー。3年間のプロジェクト期間を通じて、いくつかのフェーズで取得しました。最高の最高ではありませんが、それでも合計で約100,000ユーロ(ブルガリアで最高のアカデミック価格)。
フリストIliev

回答:


15

私の意見では、クラウドベースのリソースを使用する主な利点は柔軟性です。つまり、ワークロードが変動する場合、必要な分だけ支払うだけです。

これがアプリケーションに当てはまらない場合、つまり、定量化可能で一定のワークロードがあることがわかっている場合は、おそらく独自のクラスターを構築する方が良いでしょう。クラウドでは、柔軟性にお金を払います。柔軟性が必要なければ、必要のないものにお金を払うことになります。

ワークロードが柔軟であるが、ある程度激しく、特定のハードウェア機能に依存している場合(aeismailの答えを参照)、大学内の他の人とクラスターを共有して、アイドルサイクルを償却することができます。私の古い大学は、このような共有クラスターを「共有者モデル」で実行しています。この共有モデルでは、すべてのグループがハードウェアへの投資に比例した計算能力のシェアを保証され、誰でも使用できるアイドルサイクルを使用できます。唯一の問題は、クラスター管理を集中化することです。


3
注目すべきは、キーが「定量化可能かつ一定」であることです。通常、ワークロードは大幅に変化するため、未使用の場合、1コアあたり300ドルよりもはるかに高いコストになる可能性があります。また、クラウドコンピューティングのセットアップでは、一時的に(会議の1週間前に)必要に応じて、より多くのインスタンスに簡単にスケールアップできます。
フィルH

1
+1。私のクラスターの使用は、0から「You did what !?」のピリオドケースになります。必要なときにいつでも、2番目のものを支払う余裕はありません。
Fomite

7

MDシミュレーションを使用してクラウドコンピューティングを行う場合、いくつかの点に注意する必要があります。たとえば、これらのジョブが実行されるサーバーファーム内のプロセッサの物理レイアウトについて心配する必要があります。その理由は、シミュレーションのサイズ、および実行している計算の種類(たとえば、静電気を含むシステム)に応じて、FFTに大きく依存している可能性があり、巨大なクラスター内の異なるプロセッサに電子を押しやるからです。計算時間全体の中で非常に時間がかかる部分になる可能性があります。

また、MDのようなデータ集約型の場合は、サーバーへの高速なアップロードおよびダウンロード接続と、データストレージの適切な制限があることを確認する必要があります。そうしないと、生産性と保管料の損失で多くのコスト削減が失われてしまいます。

私たちの研究所は、ローカルクラスター用にコアあたり500ユーロ未満のコストで約240コアを購入するだけの価値があります。この費用には、キャンパスでの4年間のホスティングと管理、およびサービスが含まれます。年間ベースでは、とんでもないほど安いようです。これはおそらく、両方の世界で最も優れていると思います。ローカルアクセスですが、独自のITチームを必要とせずに専門的に維持されます。


5

AmazonのEC2のようなクラウドサービスを直接体験したことはありませんが、コアあたりの実際のコストは、おそらくあなたが引用するよりもはるかに高いでしょう:初期購入、電気、冷却、建物のスペース、交換用ハードウェアのコストです。さらに、管理コスト:OSとクラスターサービスのセットアップ、OSの最新状態の維持、キューのトラブルシューティングなど。これらすべての合計が初期購入の2倍のコストである場合、私はまったく驚かないでしょう。もちろん、柔軟性が得られます。

私にとって、モデルはスケールダウンしています:本当に大きなクラスター(1000コア以上)がある場合、専門家を忙しくしておくのに十分なので、作業時間、修理、システム管理を償却できます。専任の人に任せる価値がない小さなクラスターがある場合、最初の仕事は科学を行うべきである誰かをやらせる可能性があります。その場合、この人の時間はそのような管理職にあまり費やされていません。これは、クラウドサーバーなどのオンデマンドサービスが光る場所です。


私の研究室では、クラスターの電気、冷却、およびスペースはすべて、大学が施設費の助成金から引き落とすことなく支払われます。このカットは、クラスターを実行しているかどうかに関係なく同じです。ほとんどの大学で同様の状況があるか、ほとんどの研究室が冷房費などの支払いを直ぐに行っているのかを知っていますか?
tel

1
ほとんどのラボはお客様のものと同じ配置になっていると思いますが、とにかくこれらのコストを無視するのは間違っているでしょう。たとえあなた自身でなくても、誰かが彼らを背負わなければなりません。物理的にキャンパスではなくクラウドでクラスターを構築することに同意する場合は、部門/大学に返された間接コストの大きなシェアを取得するよう依頼する価値があるかもしれません。
ウォルフガングバンガース

4

すでに優れた回答の一部を補足するものとして、考慮すべきもう1つの要素があります。

  • 費用に関係なく、どのようにそれを支払うつもりですか?

私は、補助金の非自明数遭遇したではないだろうどのような状況の下で、ハードウェアの費用を支払うが、EC2のようなものに時間を計算するために支払うことになりますが。そのため、資金調達状況によっては、非構造化資金またはラボスタートアップパッケージを使用して小規模な「テストベッド」クラスターに資金を提供できる場合もありますが、大規模プロジェクトの場合はコンピューティングコストを資金調達する唯一の方法かもしれません。

NIHを検討してください。

ADP /コンピューターサービス:ここに含めるサービスは、スーパーコンピューターでの計算時間の予約や統計の実行を支援する特別なソフトウェアの取得など、特定のコンピューターサービスを調査する必要があります。このセクションには、標準のデスクトップオフィスコンピューター、ラップトップ、または教育機関が提供する標準の技術サポートを含めないでください。これらのタイプの料金は、F&Aコストから発生するはずです。

クラスターマシンを5,000ドル以上の機器の見出しの下に置くことは可能ですが、それについては十分な議論をすることができますが、それについては気難しいレビュー担当者と、そのような維持にかかる継続的なコストをためらう大学の両方を見つけましたシステム。

一部の助成金はさらに厳格です。私が現在持っている助成金の1つは次のとおりです。

資金はコンピューターのハードウェアにも使用できません

EC2ベースまたは多くの類似品のいずれかが実際にハードウェアを購入するよりも、特にあなたの機関が間接費にstしている場合は、直接費用でクラスターを支払うほうが簡単です。これはあなたには当てはまらないかもしれませんが、一部の人には当てはまります。


それは良い議論ではないと思います。私は米国の資金調達システムにしか精通していませんが、特定の金額を「機器」カテゴリに入れると、それを使用してクラスターを購入できます。もちろん、そのカテゴリが空の場合、間違ったドルのセットをリクエストしました。実際、機器には、購入価格が5万ドルを超える機器が1つでもある場合、(少なくとも私たちの大学では)オーバーヘッドをまったく支払わないという利点があります。
ウォルフガングバンガース

@WolfgangBangerth詳細については私の編集を参照してください-「機器」カテゴリの下に置くことは許可されない場合があります。
Fomite

はい、これらが条件である場合、あなたができることは何もありません。しかし、助成金で機器にお金を要求する良いケースがある場合、通常、査読者はそれを使用します-とにかく全体の合計の大部分ではありません。もちろん、お金が最初から予算化されていない場合、事後に何もすることができません。
ウルフギャングバンガース

0

すでに多くの神の答えがあります。2つの小さなポイントを追加したいだけです。

1.)IBMが同様のものを提供していることを知っています。そのため、アプリケーションによっては、さまざまなオファーを比較する価値があるかもしれません。コストだけでなく、機器に関しても。

2.)もちろん、ほとんどのラボは小さすぎて、独自のクラスターに投資できません。したがって、問題は、複数のラボをまとめて、異なるラボ間で共有されるクラスターに投資することができないかどうかです。これには、明らかなコスト共有効果に加えて、より均等な負荷分散の利点もあります。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.