ホームクラスターの構築-ハードウェアおよびコスト分析[終了]

14

誰もが（私が言うとき、少しホームクラスタを構築するプロセスを説明し、あなたが考えることができますいくつかのリンク/書籍/何かを、知っています自宅をするために-ちょうどそれが比較的安価だ手段と小さなを、それは必ずしも家庭で保つために意味するものではありません）実験目的、今日どのハードウェアが適切であるかに特に重点を置いて、ある種のコスト分析？

ただし、ここで誰かがそれをやったら、あなたが共有できるすべての経験に感謝します。

cluster 
— ルーク
ソース
2
どのようなクラスターですか？SQL Cluster？Webファーム？ファームをレンダリングしますか？これらは、ハードウェアを指定する際の重要な詳細です。
— tsilb
1
数値計算; CFD（詳細には触れません）-fortranコードの並列化。
— ルーク

回答:

8

Helmerが思い浮かびます。:)

— チャーン
ソース
1
OK、それは本当にすてきなページであり、私の貧しい出発DeCeleron 4nodeクラスターは重要でないように見えます。
— ビルB
素晴らしいページ！IKEAキャビネットが大好き:)（たぶん最良の解決策ではないが、それでもかわいい）
— ルーク
説明すると、これはCPUベースのレンダーファームです。IKEAからファイリングキャビネットに入れられた6台のIntel Quad Coreマシン（製品名はHelmer）。どうやら、キャビネットの背面には（IKEAではなく）穴が開けられており、PSUとFANを6箇所に取り付けることができます。
— dlamblin 2009
3

Thomas SterlingによるBeowulf Cluster Computingの書籍（Linux用とWindows用）をご覧ください。これらは、MPIを使用してノードが相互に通信できるようにするために知っておく必要があるすべてを伝えます。

友人と私は、本当にくだらないハードウェアを使用して8つのボックスのクラスターを構築し、それらでWindows XPを実行しました。これらはPentium I-90 MHzボックスのようなものでした。Windowsに必要な仕様を大幅に下回っていますが、うまくいきました。また、それらに対してSQL Server 2000を実行し（推奨仕様を大幅に下回っています）、それらに対してストックオプション価格設定のブラックショールズモデリングを行いました。

クラスターで何をしたいかを知らずに、どのような種類のハードウェアが適切かを推奨することは困難です。しかし、一番下の行は、ほとんどすべてのクラスターを構築できるということです。

— ネイサン・デウィット
ソース
信じられないでしょうか、昨日まさにそのタイトルを注文しました！今それが到着するのを待っています:) Pentium 90-うわー、それは古いです。どのようにスムーズに、またはグリッチを伴って実行されましたか？現代の同等物と比較していただけますか？実際、この種のハードウェアは事実上無料になります（とにかく安くなっています）。いくつかのコードを並列化する目的でビルドしようとしているので、コードとハードウェア部分を同時に実験しています。それがどうなるかを見るのは、学習実験です。
— ルーク
1
そのような古いハードウェアを実行するコストは、電力/作業の観点からすると非常に高くなります。複数の90MHzマシンが大量の電気を使用して、より効率的な単一マシンと同等の仕事を生み出します。私はあなたのプロジェクトに興味がある、しかし...それは興味深い方法で費用がかかる可能性があることに注意してくださいよ... =]
— ダビデはREINSTATEモニカ言う
パフォーマンスは良好でした。それは学校向けのプロジェクトであり、私たちのハードウェアは学校が取り囲んでいたものでした。また、電源の問題についても心配していませんでしたが、ライスボウルは絶対に正しいです。彼らは騒々しいモンスターでした。
— ネイサンデウィット
@ricebowl-この時点で、それは問題ではありません。90Mhzは敷設されているので良い考えです。そこでは無料です。エレック。また、会社が支払うので問題はありません。コンピューターが使用する電力は無視できます。この時点で私は基礎を学んでおり、必要に応じて新しいハードウェアをいつでも入手できます。
— ルーク
@Nathan DeWitt-音量も問題ではありません。私は音を気にしません（いつも私を癒しているように見えました）、とにかく彼らの周りに誰もいません。
— ルーク
2

多数の物理クラスターノードを持つ代わりに、仮想マシンを作成します。実際の物理マシンは1つまたは2つしかありませんが、さらに多くのノードをシミュレートできます。これは、作成、学習、および使用するリソース（スペース、電力、$$$）の削減に適しています。

これは、コスト分析の多くを提供しませんが、それはあなたを始めるでしょう。クラスターのセットアップの種類は、作成する作業の種類によって異なります。多数の小さなノードを使用することも、少数の強力なノードを使用することもできます。考慮すべき共有メモリ環境と非共有メモリ環境もあります。どのタイプの並列プログラムを作成しますか？物理ノードが多いほど、スペース、電力、冷却、およびネットワーク相互接続性を考慮する必要があります。時には、たった1台の巨大なコンピューターだけが行く方法です（そして、共有メモリー環境は私見用にプログラムする方が簡単です）。

私は最近、いくつかのランダムなP4ボックス、ubuntu、およびLAM-MPIを構築するクラスターで遊んでいます。それは間違いなく学習経験でした。

実際にはガレージに積み上げられたカップルのp4ラップトップとタワーでした。ゲットーでしたが、ただ学びたかったのです。100 Mbpsのイーサネットネットワークを使用しました。ボックスの多くのハードウェア構成に対処したくなかったので、ubuntuを選択しました。Ubuntuには必要なドライバーがたくさんありました。私が書いたアプリケーションはMPIインターフェースを備えたCベースのアプリケーションであったため、Linux環境が必要でした。以前使用したものを再現しようとしました。それはすべて雑多でした。ハードウェア、標準なし。ほとんどのクラスターには正確なハードウェアがあるため、ノードを簡単に追加および削除できます。

— トロギー
ソース
まあ、私は自由にたくさんの古いワークステーションを手に入れました。初期のペンティアムから266 Mhzまでのもの。部屋とパワーはたっぷり得ました。ノイズも問題ではありません、人の近くにはありません（ええ、あなたが疑問に思っている場合のために、私は自分を人類のメンバーとは考えていません:)できれば、これらを使って不必要なコストを避けようとしています。一部の（古いではない）Fortranコード（CFD、FVM）を並列化しようとしています。この時点で私は主に、アセンブリハードウェアで実行されているOSの原則をinterstedて、物事の一般的なグリップを取得しています
— ルーク
CPUにバインドされた数値計算がすべてであれば、仮想化はほとんど役に立ちません。
— タデウシュA.カドウボウスキ2009
あまり質問していない場合、どのようにそれらを接続しましたか（内部だけでなく、どこに配置しましたか（大きな塔？冷却の問題？））？なぜubuntu？
— ルーク
@Idigas回答に段落を追加しました。
— トロギー2009
1

しようとしていることに応じて、仮想マシンのクラスターでシステムを開発することを検討してください。OpenVZ、ParallelのVirtuozzo、Solaris ContainersなどのOS仮想化ソリューションを使用すると、完全なシステム仮想化（VirtualBox / VirtualPC / Xen / VMWareなど）と比較して非常に高い密度に拡張できます。その後、パフォーマンスのためにシステムを実際にデプロイする必要がある場合は、AmazonのEC2などで「クラウドで」実行します。

— ティムデー
ソース
私はこの時点で配置した古いハードウェアを再利用したいと思っていたので、仮想化は私にとってそれほど魅力的ではありません。
— ルーク
1

個人的には、LittleFE（http://littlefe.net/）またはBootable Cluster CD（http://bccd.net/）プロジェクトを見ることから始めます。Ubuntu Cloudプロジェクト（http://www.ubuntu.com/cloud）も参照してください。

ほぼすべてのハードウェアが動作するはずです。私は、何らかの形の成約契約や、安価なハードウェアを手に入れるためにリースから外れるマシンを見てみたいと思うでしょう。

— ウォーレン
ソース
0

クラスターの構築を本当に簡単にするクラスターディストリビューションであるRocksをご覧ください。また、少なくとも数千のノードまでスケールアップします。

— ジミー・ヘッドマン
ソース
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.