タグ付けされた質問 「cluster」

コンピュータークラスターは、緩やかに接続されたコンピューターのセットで構成されており、多くの点でそれらを単一のシステムと見なすことができます。

6
帯域幅を均等に分散するために、複数の静的ファイルサーバー間で負荷を分散する最良の方法は?
まず、私の状況を説明します。私はかなり人気のあるWebサイトをサイドプロジェクトとして運営しているため、大量のお金を投資することはできません。現在、Apacheに通常のリクエストを送信し、Lighttpdにすべての静的ファイルリクエストを送信するHAProxyを備えたサーバーが1台しかありません。すべてのphpおよびpostリクエストはApacheによって処理されるため、これは非常にうまく機能しますが、すべての画像はより高速なLighttpdに送信されます(サイトはほとんど画像なので、これは非常に重要です)。短いURLも非常に重要であるため、画像を提供するためにサブドメインを設定する必要がないのは良いことです。したがって、HAProxyを使用する私の理由です。 私が使用している非常に安価な未測定の帯域幅を提供するホスティングプロバイダーを見つけました.100mbsのネットワークカードが処理できる帯域幅を押し出すと問題が発生します。したがって、2台目のサーバーが必要です。 私は私のオプションに多くの考えを入れましたので、それぞれについて説明します。どれが私にとって最良の選択肢であるかについての洞察を提供できれば幸いです。あるいは、まだ考えていない別の選択肢があるかもしれません。 要件: 帯域幅の分配も必須です。私は非常に強力なサーバーを持っているので、スケールアップはオプションではありません。帯域幅を増やすためにスケールアウトする必要があります。 短いURL。画像を提供するためにimg.example.comのようなサブドメインを設定することは本当にありません。example.com/image.jpgは現在の状態であり、どのようにそれを維持したいのかです。しかし、他に方法がなければ、私は理解しています。 要求を処理するclostestサーバーは本当に便利ですが、必須ではありません。心に留めておくべきこと。 負荷分散するHAProxy: とにかくHAProxyを既に使用しているので、それは本当に簡単です。ただし、帯域幅を分配するときに問題が発生すると思います。私はこれで間違っているかもしれませんが、HAProxyはリクエストをサーバーに送信し、そこでサーバーはそれを処理し、HAProxyを介してクライアントに送り返しますか?したがって、すべてのトラフィックはロードバランサーを経由して戻り、すべてのサーバーを合わせた帯域幅を使用します。 DNSラウンドロビン: これが私の最良の選択肢かもしれません。Webサイトを複数のサーバーに複製し、私が今していることを行うだけです。マイナス面は、1つのサーバーがダウンしても、クライアントがサーバーに送信されることです。また、複数のサーバーにサイトを複製する必要があります。私は、静的ファイルを除くすべてを処理する1つのメインサーバーがあり、その後にいくつかの静的ファイルサーバーがあることを望んでいました。また、これは一種の「貧乏人の負荷分散」であり、もう少し洗練されたものがあればいいと読みました。 ダイレクトサーバーリターン: それは本当に複雑に思えますが、良い選択肢かもしれません。特定のURLを特定のサーバーに送信することはできますか?現在HAProxyと同様に、正しいファイル拡張子で終わるすべてのURLはLighttpdに送信され、他の拡張子はApacheに送信されます。だから私は似たようなものが必要だろう。同様に、すべてのphp要求は、バランシングソフトウェアを実行している同じサーバーによって処理されますが、すべてのjpg要求は複数のサーバーに送信されます。 理想的には、HAProxyがDirect Server Returnをサポートしていれば、私の問題は解決するでしょう。また、CDNを使用したくありません。それらは本当に高価であり、結局のところ、これは単なる副プロジェクトです。 私の問題を理解していますか?正しく説明しなかった場合や、さらに情報が必要な場合はお知らせください。

5
Linuxで使用するクラスター管理ソフトウェアは何ですか?
次のクラスター管理ソフトウェアツールが見つかりました。 pacemaker(clusterlabs.org)-高可用性に焦点を合わせたオリジナルのHeartbeatプロジェクトは、次のdebianバージョンになります openqrm(openqrm.com)、-web gui-より広い使用法、 両方のプレゼンテーションがあるサイト 仮想統合HA:KVM、Pacemaker、DRBDによる仮想化 openORMによる仮想マシン管理 ペースメーカーはより広く使用されているようです。12の異なるVM用に2つのハードウェアサーバーがあります。使用するLinuxシステムはdebian lennyです。使用するセットアップ:drdb、heartbeart、kvm。クラスタ管理ソフトウェアの経験がありません。 ペースメーカーやopenqrmの経験がある人はいますか?どちらが使いやすいですか?他の候補者はいますか?

4
すべてのハードウェアで単一のサーバーのように動作する複数のサーバー?[閉まっている]
閉まっている。この質問はトピック外です。現在、回答を受け付けていません。 この質問を改善したいですか? 質問を更新することがありますので、話題のサーバー障害のため。 2年前に閉店。 今では、パワーコンピューティング向けのhpc用のサーバーが10台あります。ユーザーはqmakeを使用して複数のプロセスを起動する必要があります。ユーザーは、ubuntu 9.10を操作するために使用され、リポジトリーのソフトウェアはユーザー用にswitableです。 私は、ubuntu 9.10を10個すべてのサーバー(pxe rocks)にデプロイしました。 ここまでで、すべてのサーバーに対して同じプロセスを起動できるようにするparallel-sshおよびcluster-sshを使用します。このツールを使用すると、サーバーは独立したままですが、同じソフトウェアと同じ起動コマンドを使用します。 次のステップに進んで、すべてのサーバーを1つのサーバーとして表示し、他の9つのリソースをすべてあたかもリソースのように見たいと思います。 この違いは、処理に要する時間と起動するコマンドを設計する時間に大きくなります。 使用するソフトウェアに関するアドバイスは非常に役立ちますか? ありがとう

6
人々はどの分散シェルユーティリティを使いやすく、柔軟性があり、使いやすいと感じていますか?[閉まっている]
現在のところ、この質問はQ&A形式には適していません。回答は事実、参考文献、または専門知識によってサポートされると予想されますが、この質問は議論、議論、世論調査、または広範な議論を求める可能性があります。この質問を改善し、場合によっては再開できると思われる場合は、ヘルプセンターをご覧ください。 8年前に閉鎖されました。 ロックされています。この質問とその回答はロックされています。なぜなら、質問はトピックから外れていますが、歴史的に重要だからです。現在、新しい回答やインタラクションを受け入れていません。 私はそれらの多くのリンクを検索して収集しましたが、これらのツールの多くには、インストールして試してみずに潜在的な価値を評価できるほど十分なユースケースやデモ文書がありません。 私はここの人々がそれらのいくつかの経験を持ち、彼らがどれだけ簡単にインストールして使用できるかについてフィードバックを提供できることを望んでいます。 私の個人的なユースケースは、分散タスクを処理するために通常一緒に使用されるいくつかのマシンプールです。マシンは(beowulfのような)実際のクラスターではなく、私の主な必要性は、マシンの構成と管理を支援することです。ユーティリティが実際に作業をパーツに分割し、それらのパーツを配布する機能を提供する場合、それは興味深いですが、最初のユースケースが必要です。 ここに私が見つけた、無料でオープンソースのプロジェクトのリストがあります: pdsh clustersh pssh クラスター 扇形に広がります 全知 タクトゥク 皿 dsh pydsh 私はあなたの考えを聞きたいです!
11 linux  shell  cluster 

1
プロダクションmongoDBクラスターのサーバーの最小数はいくつですか?
本番クラスターアーキテクチャのmongoDBドキュメントで、稼働中の本番mongoDBクラスターのサーバーの最小数は7であると読みました。 ルーター、構成サーバー、およびシャードを同じサーバー上で共有することは可能ですか(それぞれ合計3つのサーバーにルーター、構成、およびシャードサービスがあります)?
11 cluster  mongodb 

8
複数のSSHサーバーを管理するためのclustersshの代替案[終了]
閉まっている。この質問は、オフトピック。現在、回答を受け付けていません。 この質問を改善してみませんか? サーバー障害のトピックになるように質問を更新します。 4年前休業。 1つのインターフェイスを介して複数のSSHベースのサーバーを管理するためのClusterssh、psshなどの代替手段はありますか? Clustersshの弱点の1つは、私のサーバーがログインにpasshpraseを使用した鍵ベースの認証を使用し、秘密鍵を使用してサーバーにログインする方法がないことです。 秘密鍵による認証をサポートする代替手段はありますか?

1
組み込みプラグインを使用してSLURMを実行しているクラスターの汎用リソースとしてGPUをリクエストすると失敗するのはなぜですか?
免責事項:すべての関連する構成情報を提供しようとしたので、この投稿はかなり長くなります。 ステータスと問題: 私はgpuクラスターを管理しており、ジョブ管理にslurmを使用したいと考えています。残念ながら、slurmの各汎用リソースプラグインを使用してGPUをリクエストできません。 注:test.shは、環境変数CUDA_VISIBLE_DEVICESを出力する小さなスクリプトです。 でのジョブの実行--gres=gpu:1は完了しません 実行srun -n1 --gres=gpu:1 test.shすると、次のエラーが発生します。 srun: error: Unable to allocate resources: Requested node configuration is not available ログ: gres: gpu state for job 83 gres_cnt:4 node_cnt:0 type:(null) _pick_best_nodes: job 83 never runnable _slurm_rpc_allocate_resources: Requested node configuration is not available でジョブを実行して--gres=gram:500います srun -n1 --gres=gram:500 test.shしかし、私が呼び出すと、ジョブが実行されて印刷されます CUDA_VISIBLE_DEVICES=NoDevFiles ログ: …


4
Ganeti vs Proxmox [終了]
現在のところ、この質問はQ&A形式には適していません。回答は事実、参考文献、専門知識によって裏付けられると期待していますが、この質問は、議論、議論、投票、または拡張ディスカッションを求める可能性があります。この質問を改善でき、再開できると思われる場合は、ヘルプセンターにアクセスしてください。 7年前休業。 私は小さなソフトウェアハウスのシステム管理者です。サーバーを仮想化します。これを行う主な理由は、可能な限り最高の稼働時間を提供することですが、おそらくリソースの使用率も増加します。 2つのサーバーがあります。1つは開発用のVMがほとんどなく、ビルドサーバーとしても使用されている(Jenkinsマスター、ビルドエグゼキューター)。2番目のサービスでは、いくつかの重要なサービス(コードリポジトリ、課題追跡)がほとんどありませんでした。 これらのマシンを使用して2つのノードクラスタを作成し、各サービスにVMを作成したいと思います。ノード間でマシンを移動できるように、DRBDを使用したいと思います。 いくつかの調査の後、私の候補者はProxmoxとGanetiです。私の状況ではどちらが良いでしょうか?私はProxmoxのシンプルさ(特にインストールのシンプルさ)が好きですが、Ganetiを使用する正当な理由があるのでしょうか?


4
Test-Cluster Powershellコマンドレットリストと検証
PowershellコマンドレットTest-Clusterは無数のデータにクエリを実行し、検証テストを実行して、きれいなレポートにラップします。実行Test-Cluster -Listすると、項目のリストが表示され、コマンドレットを使用して個別にクエリを実行できます。を読むときの一般的な命名規則がありますDisplayName。それらはすべて"List"または"Validate"で始まります。 明らかに、「検証」は実際に失敗してフェイルオーバーをテストします。しかし、「リスト」という名前を付けると、実行時のデータのクエリにすぎないと思います。これを次のスクリプトでテストしました。 $TestList = Test-Cluster -List | Where-Object {$_.DisplayName -like "List*"} Test-Cluster -Include $TestList.DisplayName -ReportName "c:\cluster reports\report" このレポートが生成されている間、ログに記録されたクラスターエラーは表示されず、フェイルオーバーアクティビティも確認されません。Microsoftのtechnetもこれについてははっきりしていませんが、動作は私が考えていることと一致していると推測しています。この抜粋を参照してください(鉱山を強調): テスト結果は、指定したファイル名のファイルにキャプチャされます。検証テストを実行している、あなたは、ハードウェアや設定がフェールオーバークラスタリングと互換性があることを確認することができます。クラスタ、インベントリ、ネットワーク、ストレージ、システム、およびその他のタイプのテストを含む、複数のタイプのテストがあります。ストレージテストでは、クラスター化された役割で使用されているオンラインディスクまたはストレージプールはテストされません。このようなディスクをテストするには、まずStop-ClusterGroupを実行してクラスター化された役割を停止してから、Test-Clusterを実行します。テストが完了したら、クラスター化された役割(リソースグループとも呼ばれます)を再度開始します。 テストクラスターTechNetページ 「検証」という言葉の使用に注意を喚起します。さらに、そのスクリプトを実行すると、出力の一部として次のように表示されます。 Test Result: ClusterSkippedTestsCompleted 検証テストを含めると、結果は次のようになります。 Test Result: ClusterConditionallyApproved 私のテスト環境では、ネットワークテストでいくつかの警告が生成され、条件付き承認がトリガーされました。「Validate」と「List」の分割の背後にあるロジックを説明するドキュメントを見つけるためにかなりグーグル検索しましたが、何も調べていません。これは質問につながります... リスト要求はフェイルオーバーイベントをトリガーしますか?

2
着信ファイルのラウンドロビン
一意のファイル名と新しいファイルの束は、定期的に「見える」1を 1台のサーバー上で。(毎日数百GBの新しいデータと同様に、ソリューションはテラバイトまで拡張可能である必要があります。各ファイルのサイズは数メガバイトで、最大で数十メガバイトです。) これらのファイルを処理するマシンがいくつかあります。(数十、ソリューションは数百まで拡張可能でなければなりません。)新しいマシンを簡単に追加および削除できるようにする必要があります。 各着信ファイルをアーカイブストレージにコピーする必要があるバックアップファイルストレージサーバーがあります。データは失われてはならず、すべての受信ファイルは最終的にバックアップストレージサーバーに配信される必要があります。 各受信ファイルは、処理のために単一のマシンに配信さミスト、およびバックアップストレージサーバにコピーされるべきです。 受信サーバーは、途中で送信したファイルを保存する必要はありません。 上記の方法でファイルを配布するための堅牢なソリューションをアドバイスしてください。ソリューションは Javaに基づくものであってはなりません。Unix方式のソリューションが推奨されます。 サーバーはUbuntuベースで、同じデータセンターに配置されています。他のすべてのものは、ソリューション要件に適合させることができます。 1 ファイルシステムへのファイルの転送方法に関する情報を意図的に省略していることに注意してください。その理由は、今日、ファイルがいくつかの異なるレガシー手段によってサードパーティから送信されているためです(奇妙なことに、scp経由、およびØMQ経由)。ファイルシステムレベルでクラスター間インターフェイスを切断する方が簡単に思えますが、実際に特定のトランスポートが必要なソリューションがある場合は、レガシートランスポートをそのトランスポートにアップグレードできます。

2
VIPを使用したSSHホストキー検証の問題
VIPには2つの本番サーバーがあり、一度に1つだけ使用されます。次に例を示します。 myservice.mycompany.ukは通常、server1をポイントします。server1に障害が発生した場合、server2をポイントするように変更されます。 SFTP経由でmyservice.mycompany.ukにファイルを送信する必要のある他のサーバーがいくつかあり、server2にフェイルオーバーする場合、サーバーに対して完全に透過的である必要があります。 問題は、server1とserver2の両方にキーがインストールされている間、server2のホストキーがserver1のホストキーと異なるため、他のサーバーでホストキーの検証問題が発生することです。これにより、セキュリティエラーが発生し(厳密なチェックがオンになっているため)、動作させるには、known_hostsから行を削除する必要があります。 IT担当者は、known_hostsに2つのエントリを作成できることを示唆しています。1つはserver1のキー、もう1つはserver2のキーで、どちらもホストmyservice.mycompany.ukです。 それはうまくいくでしょうか?これは、Windowsのputty / psftpでどのように実行できますか?ホストキーはレジストリに保存されているため、重複した名前は許可されていません。より良い方法はありますか?たとえば、サーバーに同じホストキーを強制することはできますか?
8 ssh  cluster  sftp 

3
予算に縛られた開発環境をESXiに変換する-安価で可用性を最大化する方法
既に運用サーバーを仮想化するプロセスを実行しましたが、開発環境でも同じことをしたいと考えています。ただし、当社のプロバイダーがすべてのESXホストおよびクラスター構成(SAN、物理スイッチ、ホストプロファイルなど)を処理しました。 ここで、無料のESXiを使用して開発環境を仮想化したいと思います。ハイパーバイザーをインストールするとすぐに「動作」することはわかっていますが、冗長性を適切に設定して「正しく」設定したいと思います。たとえそれが貧乏人の解決策であっても。 だからここに私たちが持っているものがあります: 3台のDell R710(または同様の)サーバー(1台は1.3 TBを搭載し、他の2台は600 GBを搭載)。そのうちの1つに36 GBのRAMを装備しています。他の2つは合計8 GBです。 能力の異なる4台のクラッピアサーバー SCSIコントローラーと600 GBのストレージを備えた2つの小規模オフィスサーバーデスクトップ 私が持っている質問: データはどこに保存すればよいですか?ローカルで大きな1.3 TBのハードドライブ、またはスモールオフィスサーバー(SCSIサーバーなど)のいずれかを使用してFreeNASボックスをセットアップします。 一貫性のあるバックアップがある場合、1つのESXiサーバーに依存しても大丈夫ですか? 安価な、または無料のレプリケーションソリューションはありますか? どのような戦略をお勧めしますか?
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.