Linuxの大きなファイル(バックアップ)用の安定したファイルシステム


18

バックアップに最適なファイルシステムは何ですか?私は主に安定性(特にハードリブート中のファイルの破損など)に興味がありますが、大きな(5 GBを超える)ファイルを効率的に処理することも重要です。

また、どのマウントパラメーターを使用する必要がありますか?

カーネルはLinux> = 2.6.34です。

編集:バックアップ方法必要ありません。それらを保存するファイルシステムが必要です。


毎日、毎週、毎月どのくらいのデータをバックアップしていますか?保持する予定のデータの量と期間。
ステファンLasiewski

Linuxである必要がありますか?FreeBSD 8.1でZFS(古い、安定したバージョン14)を検討しましたか?
ステファンLasiewski

これはラップトップ用の一時的なバックアップストレージです-外部ハードドライブに送信されるまで。FreeBSDの時点で-それは素晴らしいシステムですが、このアプリケーションでは私には向いていません。
マチェイピエチョトカ

回答:


13

ext4を使用できますが、journal_datadealloc(遅延割り当て)をオフにするモードでマウントすることをお勧めします。deallocを無効にすると、新しいデータの書き込みが遅くなりますが、電源障害が発生しても書き込みが失われる可能性は低くなります。また、使用せずにdeallocを無効にできることにも言及する必要があります。journal_dataこれには、読み取りのわずかな改善など、他のいくつかの利点があります(少なくともext3ではそうでした)。

エクステントは断片化に役立ちます。エクステントは、ext3よりも大きなファイルの削除をはるかに高速にします。サイズの異なるデータ(単一ファイル)の削除は、ext4ではほぼ瞬時に行われますが、ext3では長時間かかる場合があります。(エクステントベースのFSにはこの利点があります)

ext4 fsckはext3よりも高速です。

最後に、ext4には2.6.31までのバグ修正がありましたか?基本的に、LTSカーネルである2.6.32より前のカーネルを実行していないことを確認します。


「堅実」を選択する場合はext4、そのon disk layoutため、データの安全性に関連するメリットとリスクを考慮する価値があります(ここで説明する側面)
humanityANDpeace

5

XFSは堅実であり、長年にわたってカーネルに組み込まれてきました。xfs_freezeなどのツールを調べて、探しているものかどうかを確認します。これは非常に主観的であることは知っていますが、何年も問題なくXFSをデータストレージに使用しています。


2
私の答えに基づいて、XFSはエクステントベースであり、ext4と同じ多くの利点があることに注意したいと思います。ただし、ext4で発生する可能性があるdeallocの問題と同じ問題があり、プルプラグシナリオでデータが失われる可能性があることに言及したいと思います。XFSでdeallocを無効にできるかどうかはわかりません。
xenoterracide

ええ、この機能を無効にできるかどうかはわかりませんが、xfs_freezeユーティリティは安定したディスクイメージを保証します。マニュアルページから:-fフラグは、指定されたXFSファイルシステムが新しい変更から凍結されるように要求します。これを選択すると、ファイルシステムで進行中のすべてのトランザクションが完了し、新しい書き込みシステムコールが停止し、ファイルシステムを変更する他のコールが停止し、すべてのダーティデータ、メタデータ、およびログ情報がディスクに書き込まれます。凍結されたファイルシステムに書き込もうとするプロセスは、ファイルシステムが凍結解除されるのを待つことをブロックします。
dsp

フラッシュが機能する限り、ファイルの書き込み中の破損についてはあまり気にしません。
マチェイピエチョトカ

3

チェックサムをサポートするバックアップツールを使用するだけです。たとえば、Darはサポートしており、増分バックアップをサポートしています。その後、ext3などの堅固なファイルシステムにバックアップできます。

バックアップの場合は、安定した非常に安定した何かが必​​要です。そして、btrfsまたはZFSは今日準備が整っていないだけです。


私はそれをext3としてカウントします
Maciej Piechotka

0

btrfsには、ディスクに書き込まれたデータの透過的なチェックサムと、常にオンになっている高速の順序付き書き込みモード(およびその他の多くのバックアップフレンドリー機能)があり、バックアップに適しています。詳細については、https://btrfs.wiki.kernel.org/index.php/Main_Pageを参照してください。


うーん。将来的には良い答えかもしれませんが、現時点ではLinuxでbtrfsやzfsが安定しているとは思いません。
マチェイピエチョトカ

カーネルユーザーから推奨されたbtrfsがあります。最後に、Mercurialメンテナが少なくとも1台のマシンでフルタイムで実行していることを知りました。私は毎日FUSEを介してZFSを使用していますが、FUSEのせいで少し遅くても、非常に安定しています。
-durin42

1
ディスク形式のbtrfsはまだ安定していません...それが変更されるまではお勧めしません。カーネルプログラマは、あらゆる種類のクレイジーなことを実行できます。
xenoterracide

ZFSは安定しているかもしれません...しかし、FUSEのおかげで、私はそれを気にしません。
xenoterracide

1
FUSE上のZFSはハックです。それは良いハックかもしれません、あなたの重要なビジネスデータに対してそれを信用しません。また、FUSE上のZFSには速度の問題がいくつかあり、テラバイトのデータをバックアップする場合は速度が重要です。
ステファンLasiewski

0

私が他の答えで議論していない非常に重要な側面は、ファイルシステムのディスク上のレイアウト安定性機能です(たとえば、可能性のある候補ext4btrfsのドキュメントを参照することを検討してください)

コードベースとコードベースファイルシステムドライバーのテストの量は、他の回答がすでに示しているように重要ですが、読み取りと書き込み中のデータ保護であるため、ディスクレイアウト/フォーマットはデータへのリスクに対する保護です静止状態。これは、読み取り不能セクターやサイレントビットrotなどのハードウェアの影響の形式です。

ext4長いコードベースをテストされるように、良好な特性を有すると言われ、(https://events.static.linuxfound.org/sites/events/files/slides/AFL%20filesystem%20fuzzing%2C%20Vault%202016_0。 pdfは、例えばより現代的で複雑なものよりもバグを見つけるのに時間がかかったことを示していますbtrfs)、私は他の賞賛されたファイルシステムの安静時のext4耐性を調べ、いくつかの不備を発見しました。

開発者が提供するツールを使用して、回復性を向上させる(「強化」するものの)ことは(「堅実なバックアップfsext4として選択された場合)賢明と考えます。e2imageext4

e2imageプログラムは、デバイスにある重要なext2、ext3、またはext4ファイルシステムメタデータをimage-fileで指定されたファイルに保存します。イメージファイルは、それらのプログラムに-iオプションを使用することにより、dumpe2fsおよびdebugfsで検査できます。これは、壊滅的な破損ファイルシステムを回復する専門家を支援できます。将来、e2fsckは、イメージファイルを使用して、ひどく損傷したファイルシステムの回復を支援できるように拡張される予定です。

お勧めします。

システム上のすべてのファイルシステムのイメージファイルを作成し、パーティションレイアウト(fdisk -lコマンドを使用して生成できます)を定期的に(ブート時、および/または毎週)保存することをお勧めしますそう。イメージファイルは、データが含まれるファイルシステム以外のファイルシステムに保存し、ファイルシステムがひどく破損している場合にこのデータにアクセスできるようにする必要があります。

のも、すべてのメタデータではないことを考えるとext4 、ディスクレイアウトには、冗長性を備えている(つまり、スーパーブロックindoesだけ正確に1の場所に保存され、コピーとしてcommenly複数回保存されている)、ext4とinferrior確実であるbtrfsことがために、少なくともチェックサムを提供しますすべてのメタデータ+ ファイルコンテンツデータ

この「ショートカム」に対抗し、ディスクレイアウトの面でext4より多くのrock-solidものにするために、/ parchiveを介してファイルコンテンツのこの冗長性と回復を補完するのが合理的です。par2

ファイルシステムソリューションに焦点を当てることが求められていますが、ファイルシステムが提供するもの(キャッシュ、ジャーナル、割り当てられたスペースの再利用、ブロックの割り当てなど)のほとんどは、必ずしもバックアップデータの恩恵を受けるものではないことに注意してください書き込みと読み取りが一括して行われる場合に限ります。そのために、プロセスで使用されるコードベースが削減され、「機能」が少ない場合はバグが少なくなるため、parchive補足tarバックアップをより最適なバックアップソリューションとして使用することを検討します。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.