ディスクの大きなLVM（8 TB）のファイルシステムはどれですか？

Linuxサーバーには2 TBのディスクが多数ありますが、現在はすべてLVMにあり、約10 TBのスペースがあります。ext4パーティションでこのすべてのスペースを使用しますが、現在約8,8 TBのデータがあります。

問題は、多くの場合、ディスクにエラーが発生し、エラーが表示されたらすぐに交換する（つまり、古いディスクをddで新しいディスクにコピーしてから新しいディスクをサーバーに入れる）場合でも、多くの場合、約100 MBの破損データが表示されます。そのため、e2fsckは毎回おかしくなり、ext4ファイルシステムを再び正常な状態に戻すのに1週間かかることがよくあります。

質問は次のとおりです。LVMでファイルシステムとして使用することをお勧めしますか？ または、代わりに私に何を勧めますか（私は本当にLVMは必要ありません）？

私のファイルシステムのプロファイル：

• 異なる合計サイズの多くのフォルダー（合計2 TB、合計100 MB）
• サイズが異なる200,000近くのファイル（3/4が約10 MB、1/4が100 MBから4 GBの間。現在、ext4パーティションが数日間完全に破壊されているため、ファイルの統計を取得できません）
• 読み取りは多いが書き込みは少ない
• フォールトトレランスが必要です（ディスク全体で1つのエラーが発生するのが好きではないため、mdadm RAIDの使用を停止しました。ディスクに障害が発生している場合があり、できるだけ早く交換しますが、破損したデータを取得できることを意味します私のファイルシステム）

主な問題は、ディスクの故障です。一部のファイルを失うことはできますが、すべてを同時に失うわけにはいきません。

ext4を使い続けている場合、より小さなファイルシステムを作成し、何らかの方法でそれらを「マージ」するのが最善であると聞きましたが、その方法はわかりません。

私はbtrfsがいいと聞いたが、データが複製されていない場合（mkfs.btrfs -d single？）、ディスクの一部（またはディスク全体）を失うことを管理する方法についての手がかりを見つけることができません。

質問に関するアドバイスは大歓迎です、事前に感謝します！

ファイルシステムの問題ではなく、ディスクの物理的な制限です。データは次のとおりです。

SATAドライブは通常、回復不能な読み取りエラー率（URE）10 ^ 14で指定されています。つまり、12TBごとに1バイトが回復不能に失われます、ディスクていても、ます。

この意味は RAIDがなければ、ドライブが故障しなくてもデータが失わをます-RAIDが唯一のオプションです。

RAID5（総容量n-1、n =ディスクの数）を選択した場合、それでもまだ十分ではありません。6 x 2TB HDDで構成される10TB RAID5を使用すると、1年に1台のドライブが故障する可能性が20％あり、では、 UREによりRAID5を正常に再構築してデータの100％を回復する可能性が50％あります。

基本的に、大容量のディスクと比較的高いUREを使用すると、単一のディスク障害が発生した場合でもRAID6を保護する必要があります。

これを読む：http : //www.zdnet.com/blog/storage/why-raid-5-stops-working-in-2009/162

ディスクにRAIDを使用してください。mdadmを使用したソフトウェアRAIDでもかまいません。また、「ディスクでエラーが発生することが多い」理由も考えてください。これは、RAIDグレードのディスクの代わりに安価なデスクトップクラスのSATAドライブを使用する場合を除いて、正常ではありません。

その後、ファイルシステムはそれほど重要ではなくなりました-ext4、xfsはどちらも素晴らしい選択です。

ZFSには幸運があります。使用しているディストリビューションでZFSが利用可能かどうかを確認できます。公正な警告です。おそらくシステム全体を再構築することを意味しますが、非常に優れたパフォーマンスとフォールトトレランスを提供します。

大きいサイズの新しいディスクを徐々に追加します

LVMの使用に興味があり、複数のドライブを処理したい場合、単純な答えは、LVMの一部であるミラー機能を使用することです。すべての物理ボリュームをLVMに追加するだけです。論理ボリュームを作成するときは、--mirrorsオプションを渡します。これによりデータが複製されます。

別のオプションは、複数のRAID1ペアをセットアップすることです。次に、すべてのRAID1ボリュームをPVとしてVGに追加します。その後、ストレージを拡張したいときはいつでも、ディスクを購入してください。

RAID 5、6、10、50、または60を実際に使用する必要があります。開始するためのリソースを次に示します。

RAIDに関する背景情報

• http://en.wikipedia.org/wiki/RAID
• http://www.techrepublic.com/blog/datacenter/choose-a-raid-level-that-works-for-you/3237

使い方とセットアップ

• http://www.dedoimedo.com/computers/linux-raid.html
• http://www.linuxplanet.com/linuxplanet/tutorials/6514/1
• http://dtbaker.com.au/random-bits/ubuntu---howto-easily-setup-raid-5-with-lvm.html

追加のRAIDリンクについては、私のおいしいリンクをチェックしてください：http : //delicious.com/slmingol/raid

データの破損が本当に心配な場合は、zfsやbtrfsなどのチェックサムファイルシステムをお勧めします。ただし、btrfsはまだ開発段階であり、本番環境ではないことに注意してください。

ディスクから読み取られたデータ（正常に読み取られた場合でも）が正しいという保証はありません。ブロックにはチェックサムがありますが、それらは常にエラーをキャッチするとは限らない単純なチェックサムです。ZFSのような新しいファイルシステムは、より高性能なチェックサムをファイルに添付し、ハードディスクまたはRAIDコントローラーが気付かないデータエラーをキャッチおよび修復できます（報告されています）。

として @ C2H5OHは言う、回復不能は重大である-それはディスクがすでにしようとした部門を再読み込みに失敗したことを意味します。

私の経験では、ディスクが回復不能な読み取りエラー（URE）を生成し始めると、一部のデータは永久に失われます。唯一の希望は、GNU ddrescueを使用してすべてのデータをすぐにバックアップすることです。

バックアップがあると仮定すると、それらはUREによって失敗した可能性があり、確かにいくつかの破損ファイルがあるため、同じファイルシステムのさまざまなバックアップから完全なデータセットをまとめる必要があります。

ZFSを推奨する他の回答は読む価値があります。継続的なデータスクラビングとRAID機能は、将来のデータの安全性を維持するのに役立つためです。

スナップショットが必要ない場合にのみLVMを使用します-RAIDとそれほどうまく統合できず、データスクラビング/データチェックサムが含まれておらず、バックアップが必要なので、ZFSのようなものがおそらくより良いオプションです。詳細については、LVMの問題とリスクに関するこの回答を参照してください。