すべてのハードウェアで単一のサーバーのように動作する複数のサーバー?[閉まっている]


12

今では、パワーコンピューティング向けのhpc用のサーバーが10台あります。ユーザーはqmakeを使用して複数のプロセスを起動する必要があります。ユーザーは、ubuntu 9.10を操作するために使用され、リポジトリーのソフトウェアはユーザー用にswitableです。

私は、ubuntu 9.10を10個すべてのサーバー(pxe rocks)にデプロイしました。

ここまでで、すべてのサーバーに対して同じプロセスを起動できるようにするparallel-sshおよびcluster-sshを使用します。このツールを使用すると、サーバーは独立したままですが、同じソフトウェアと同じ起動コマンドを使用します。

次のステップに進んで、すべてのサーバーを1つのサーバーとして表示し、他の9つのリソースをすべてあたかもリソースのように見たいと思います。

この違いは、処理に要する時間と起動するコマンドを設計する時間に大きくなります。

使用するソフトウェアに関するアドバイスは非常に役立ちますか?

ありがとう


ほのめかしている種類のクラスターを実装するには、ソフトウェアを書き直して、そのようなプラットフォームで実行するように設計する必要があります。ソフトウェアの書き換えは範囲内ですか?そうでない場合、私はあなたが説明したように動作するソリューションを認識していません。
クリスソープ

回答:


4

あなたが話しているのは、Single System Image(SSI)と呼ばれるものです。Linux用のこのスキームの最も一般的なバリアントは、MOSIXによって実装されています。システム管理に関してはいくつかの利点がありますが、一般に、何らかの形式のMPIを使用しないと、プロセスが複数のノードにまたがることはできません。基本的に、gridengineで実行される「標準」クラスターを使用するか、システムを単一のイメージに形成するかに関係なく、複数のノードにまたがるようにすべてのソフトウェアを変更する必要があります。


2

クラスターは、パフォーマンス面では単一のマシンではありません。fs/メモリの局所性はパフォーマンスにとって重要です。

一般的ではありませんが、アプリケーションレベルで物事を行う方がリソース効率が高くなります。distccをセットアップすることで、qmakeの例を大幅に高速化できます。


2

最後に、Sun Grid Engineを使用しました。

私はプライベートwikiにドキュメントを作成し、ブログにカットアンドペーストしました。翻訳しなくても便利だと思います。;)

ブログエントリ:http : //suportrecerca.barcelonamedia.org/blog/?p=240

誰かがwikiコードを望んでいるなら、ここでそれを聞いてください。

ありがとう。


1

実装したことは一度もありませんが、beowulfクラスターはあなたがやろうとしていることに対して機能するようです。私は過去にこれについて多くのことを読みましたが、いくつかのより単純なプロセスでは、達成しようとしているものによっては、再コーディングがほとんど必要ない場合があります。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.