24個の1TBディスクNASボックスを構築することを考えていますが、最適なドライブ構成が何かわかりません。areca ARC-1280ML-2Gコントローラーの使用を検討しており、24台すべてのドライブを吊り下げています。
格納するデータの種類により、すべてを1つのボリュームとしてマウントしたいと思います。6つの4ディスクRAID 5ボリュームを構成してから、それらの6つのボリュームに対してソフトウェアRAID 5を実行するというおかしいアイデアがありました。つまり、いずれか1つのボリュームが死んでも、データは失われません。
これはR＆Dプロジェクトであり、高速で高可用性を実現するには数十テラバイトのストレージが必要となる今後のアプリケーションがあります。しかし、最初のR＆Dフェーズでは、ある程度のリスクを受け入れることができます。
このタイプの構成に対する最適なソリューションは何ですか？24個の1 TBディスクでは、複数の障害が同時に（または最初の障害からボリュームの再構築に要する時間内に）失敗する可能性が高いため、適切な解決策を見つけるのに苦労しています。
回答:
必要なものにはすでにRAIDレベルがあります。RAID 10と呼ばれます。
プロフェッショナルレベルおよびコンシューマレベルのドライブのMTBFは近年大幅に増加しており、修正不能なエラー率は比較的一定のままです。このレートは10 ^ 14ビットと推定されるため、消費者SATAドライブの場合、ソース 12テラバイトあたり1ビットが読み取られます。
そのため、24Tbドライブのパスをスキャンするたびに、統計的に少なくとも2つのシングルビットエラーが発生します。これらのエラーはそれぞれRAID5再構築をトリガーし、さらに悪いことに、再構築中に2番目のエラーが二重障害を引き起こします。
これはまさにLinuxのストレージサーバーを構築する私の日々の仕事です。
すごい、RAID5 over RAID5？パフォーマンスの問題について議論したいですか？あなたはありますトン。それらを掛けるホストは、子猫がパリティを計算し、そのパリティを3つのドライブに書き込み、次にそのパリティのパリティを計算し、そのセットの4番目のドライブに書き込みます。うわー！
RAID10について話しましょう。これは基本的にRAID 1ですが、ドライブを半分に分割してミラーリングします。フォールトトレラントであり、2台のドライブを失う可能性がありますが、パフォーマンスは抜群です。
途方もない量のスペースは必要ないが、24TBのアレイがあり、それ以上のことは何もしないが、絶対に確実に稼働しなければならない場合、RAID60を検討するかもしれません。基本的に、ミラー化されたドライブセットを使用するRAID6です。ドライブの約半分が失われ、パフォーマンスは低下しますが、データがそこにあることはほぼ保証されます。
本当に、私はRAID10を使います。それはうまく機能し、正常に動作します。私は、あなたがおそらく多くのディスクから巨大なRAIDセットを作るべきではないとエヴァンの意見を支持します。個々のディスクサイズと同様に増加します。セットあたり7〜10個のディスクをお勧めします。その数のスピンドルで、非常に適切なサイズの3つのRAIDボリュームを作成できます。
どちらを選択する場合でも、アレイが交換を待つのではなく、すぐに再構築を開始できるように、いくつかのディスクをホットスペアのままにしておくことを忘れないでください。ディスクが死ぬとすぐに、別のディスクが動くように時計が刻み始めます。
あなたは「R＆D」と言っていましたが、「高可用性」とも言っていました。DIYソリューションの「節約」と、これを行うために市販のSANギアを購入することとの違いを疑問視します。DIYソリューションで問題が発生した場合、助けを求める連絡先がいないといううらやましい立場になります。ダウンタイムは1時間あたりどのくらいの費用がかかりますか？中程度のSANギアのコストは、データの完全な損失に関連する費用を無視して、ダウンタイムの費用でかなり迅速に使い果たすことができます。
基礎となるディスクについて何をするかに関係なく、私はそれほど大きなファイルシステムを作成しません。
ファイルシステムの破損は本当の可能性です（RAIDコントローラーの問題、OSのバグなど）。そのようなボリュームでは、ファイルシステムのチェックに永遠に時間がかかります。論理的に組み合わせて単一のファイルシステムとして表示できる複数のボリュームを使用することを強くお勧めします（さまざまな手段で、OSについては言及しなかったため、具体的なアイデアを述べることはできません）。ファイルシステムが破損している場合、論理ボリュームの一部が失われますが、それでも「アップ」状態になります。
例として：Windowsの世界では、ファイルでいっぱい20TB NTFSボリューム上でCHKDSKを実行することになるだろうSLOW。この種の環境では、複数の小さなNTFSボリュームを作成し、それらをDFSを使用して単一の名前空間に論理的に結合します。
wazoox、答えは良いです。私は彼にもっとプラスポイントを与える担当者がいませんが、以下を追加します。
RAID 6、または10枚のディスクにつき少なくとも2枚のライブパリティディスク。最大16枚は、RAIDの再構築によってパフォーマンスに影響が出るまで1日かかる場合です。劣化に耐えられない場合は、ミラーストライプにする必要があります。
Linuxルートを使用する場合は、ハードウェアRAIDカード（バッテリーバックアップ付き）を使用するか、ディスクエンクロージャーにRAIDコントローラーを使用します。Linuxではxfsが最適なファイルシステムであることに同意しますが、xfs_checkを実行する必要がある場合、xfsで約50TBのファイルシステムが16GB以上のRAMを使用することに注意してください。
NetAppのような優れたNASボックスは、長期間の作業がずっと少ないため、真剣に検討します。これは、企業にとってストレージ管理者の時間の価値に依存します。
nfs / sambaのパフォーマンスを向上させることは、少し暗い芸術です。10GBのイーサを使用するのでしょうか、それとも1GB / secの集約だけを使用するのですか？（Broadcommカード、特に10GBのものは入手しないでください）。
LVM2は非常に簡単ですが、高速ではないため、スナップショットは使用しないでください。
これのバックアップには時間がかかることを忘れないでください。
システムが実稼働に入る前にシステムが失敗する可能性がある方法をテストし、すべてがうまくいかないときにあなたと同僚がドキュメントを見つけることができる場所に書き留めます。
読み取り/書き込み比率に依存します。多くのHP MSA70外付け25ディスクSASドライブエンクロージャを使用し、読み取り/書き込み比率が99％：1％であるため、常に単一のRAID6アレイとして作成します。したがって、R6が書き込みで最も遅いことを気にしません（まだかなり速く、他の人と比べてそれほど良くありません）。このようにして、23個のディスクに相当するデータを利用でき、非常に優れたランダム読み取りと全体的な読み取り帯域幅の利点があるため、2つのディスク障害に耐えることができます。
大まかな目安として、RAID5アレイは1つのアレイに約14台以上のディスクを配置すべきではありませんが、RAID6は最大54台程度のディスクで問題ないはずです-明らかにアレイが大きいほど、読み取りと書き込みのパフォーマンスの差が大きくなります。再構築には時間がかかりますが、良いトレードオフになる可能性があります。