HP Smartアレイ410 / iディスクコントローラー上のHadoop JBODディスク構成


8

Hadoopクラスターのセットアップに使用できるいくつかのハードウェアの評価フェーズにいます。このハードウェアは修復され(hp G6サーバーw / Smartアレイ410 / iコントローラー)、おそらく使用する必要があります...まだ使用していません。410 / iコントローラでは、hadoopが要求するJBOD構成が許可されていないことを読みました。このステートメントを確認できる人はいますか?か否か ?回避策は、すべてのディスクでraid0を構成することであると思われますが、誰かが確認したり、他の構成方法がありますか?ロブありがとう

回答:


7

Smart Array 410 / iコントローラーでは、オプションのメモリカードを追加せずに2つのRAIDデバイスのみを作成できます。したがって、ハードウェアにドライブが2つしかない場合は問題ありません。2 raid0にすることができます。ドライブが2台以上ある場合は、おそらくパーツ番号462974-001-256MBのバッテリバックアップ式ライトキャッシュBBWCメモリモジュールを購入する必要があります。よくわからない場合は、設定ユーティリティで試してみてください。メモリアドオンを購入する必要がある場合は、設定可能なRAIDデバイスの数に制限があることを警告します。

最近、そのうちの1つと12台のディスクをそれぞれ使用するZFSサーバーをRAID0モードでセットアップしましたが、正常に動作します。実際のRAIDコントローラのほぼすべての機能を無効にできるため、JBODモードと実質的に同じです。


4
そのコントローラーで複数のRAID 0を作成してZFSで使用できますが、ディスクに障害が発生すると問題が発生します。再起動しない限り、ZFSは置き換えを認識しません。
ewwhite

4

この状況は、ZFSストレージソリューションのハードウェアを設計するときに遭遇する状況に似ています。ZFSはソフトウェアRAIDであり、ディスク管理のためにサーバーのリソースを活用します。ハードウェアRAIDは推奨されておらず、JBODはSmart Arrayコントローラでは実際には不可能です。そのため、ZFSにProLiantシステムを使用する場合は、SmartアレイコントローラーをJBODモードまたは基本的なSAS / SATA HBAを持つものに置き換えます。

通常、これはLSI SAS HBA(RAID機能なし)です。私の好みは、LSI 9211-8iまたは9205eです。

ZFS SAS / SATAコントローラーの推奨事項で推奨事項を参照してください。


0

すべてのディスクから1つのアレイを作成し、同等のサイズの複数のRAID0アレイを作成するだけの場合、Pxxxの範囲ではJBODを直接構成できませんが、機能の類似性に関してはほとんど同じです。そうは言っても、私はHadoopの要件について少し疑わしいと思います。まず、BIOSによって非表示にされているため、実際のディスク構成が実際に何であるかを知ることができません。次に、HPコントローラーがどれほどよく考えられているかを考えると、過度に規範的であるため、ディスクを管理するアレイの問題?


3
答えをありがとう、HDFS(Hadoopファイルシステム)には、複数のノード間でブロックを複製することにより、冗長性が組み込まれています。RAID 0は、HDFSで使用されるJBOD構成よりも低速です。これは、I / OがRAIDアレイの最も遅いディスクの速度によって制限されるためです。JBODのI / Oは独立しているため、平均速度は最も遅いディスクの速度よりも大きくなります。Yahooが行ったテストでは、JBODがRAID 0よりも高いパフォーマンスを示しました:markmail.org/message/xmzc45zi25htr7ry
nysalsa

0

使用可能な物理ディスクごとにRAID0を構成できます。

ディスクが8つあるとすると、そのようなもの(CentOS 6)になります。

# hpacucli ctrl all show config | grep RAID
      logicaldrive 1 (558.9 GB, RAID 0, OK)
      logicaldrive 2 (558.9 GB, RAID 0, OK)
      logicaldrive 3 (558.9 GB, RAID 0, OK)
      logicaldrive 4 (558.9 GB, RAID 0, OK)
      logicaldrive 5 (558.9 GB, RAID 0, OK)
      logicaldrive 6 (558.9 GB, RAID 0, OK)
      logicaldrive 7 (558.9 GB, RAID 0, OK)
      logicaldrive 8 (558.9 GB, RAID 0, OK)

1
こんなことしないで。ホットスワップ機能が失われ、論理ドライブブロックデバイスの列挙問題が発生します。故障したディスク==故障した論理ドライブ==交換時に作成された新しいデバイス。
ewwhite 2014

1
「ハウスワップ機能」?「オンライン」モードでは故障したディスクを交換できない、つまり、故障したディスクを交換する前にサーバーの電源を切る必要があるということですか。デバイスのエニュマレーションに関しては、それをチェックするつもりです、それは公正な点だと思います。
sl0n 2014
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.