HFS Plus / NTFSビット腐敗の検出と防止


2

HFS PlusもNTFS もデータの整合性チェックを行いませ。別名は、システムに保存されているデータファイルの「ビット腐敗」をチェックします。これは、Time Machineなどのツールが破損データをバックアップしているかどうかを検出できないために懸念されます。

破損を検出して警告するツールはありますか?

データを完全に保つための最良の消費者戦略は何ですか?情報を保存するために、ZFS / Btrfs NASを作成する必要がありますか?

更新:

いくつかの調査の後、Mac OS XへのZFSの2つのポートがあることがわかりました。

これは、Mac OSでデータの整合性を確保するための最良のアプローチのようです。

回答:


1

私は、かなり大規模な-20TB + -enterpriseサイズのストレージ・システムのために、この問題に対処する調査しましたし、消費者の現実はこれです:ZFSベースのシステムが本当にこれに対処する唯一の方法です。データの腐敗が重大な懸念事項である場合、バックアップ用に少なくとも1つの他のハードドライブを用意することをお勧めします。RAIDや魔法のようなものではなくrsync、コマンドラインやCarbon Copy Clonerを使用することに慣れている場合などのツールを使用して同期される別の外部ドライブは、基本的には同じ機能を実行するrsyncが素晴らしいユーザーインターフェースを備えています。

私は今いくつかの検索を行ったところ、LinuxZFSが見つかりました。Linuxシステム用のZFSのオープンソース実装。袖をまくり上げてLinux / Unixをセットアップすることに慣れているなら、これは日曜大工のNASの潜在的なソリューションかもしれません。しかし、私はそれを直接経験していないので、「実稼働」環境での長期的な有用性について話すことはできません。


1
FreeBSDを使用して、ホームサーバーでZFSを何年も使用しています。それは本当に素晴らしいですが、あなたがそれを投げるのと同じくらい多くのRAMを食べます。ZFS for Linuxは今では十分に安定しているはずです。専用サーバーの1つで使用しています。問題もありません。
ダニエルB 14

@DanielB知っててよかった!これで、時間を費やす新しいプロジェクトができました!
JakeGould

2
正しく設定するのは少し難しいです。これにはウィザードであるSFレギュラーがいます。私が正しく覚えているなら、彼はZILとl2arc用の高速 SSDを持つことを提案します。また、ダニエルBが言及したように、ストレージボックスに大量のラムが必要になります。
ジャーニーマンオタク

とにかくNASを構築しようとしているので、FreeBSDを使用してZFSをZFSをゼロからセットアップするよりもおそらく簡単でしょう(もちろん、理解するために手動でセットアップすることを好まない限り)。
Suchipi

@Suchipi 「もちろん、それを理解するために手動で設定したい場合を除きます。」元のポスターの場合は、おそらくそれが最良の選択肢です。しかし、私はLinux / Unix開発、システム管理、セキュリティの仕事をしています。何かを簡単な方法で設定したとしても、ある時点でクライアントを希望する方法で実際に機能させるために「深く掘り下げる」必要があります。だから私はむしろゼロから構築したい。私のプロセスにとってはうまく機能します。
JakeGould 14

4

MicrosoftがWindows 2012+およびWindows 8.1でReFS(復元性のあるファイルシステム)を使用していることは注目に値します。これは整合性をチェックします。さらに、ミラー化されたストレージスペースでReFSを実行すると、ミラーの反対側のビットを使用して、これらのエラーを自動的に修正できます。

ReFSはNTFSのすべての機能をサポートしているわけではないので、必要なファイルまたはワークロードにとって不足しているものが重要かどうかを判断する必要があります。


良いヒント!今、唯一の問題:マイクロソフト。
JakeGould

目的のオペレーティングシステムを指定せず、NTFSをリストしたので、Windowsが受け入れられる可能性があるのは公正なゲームだと思いました!私は主にWindowsのシステム管理者として偏見を抱いているかもしれませんが、Microsoftのものは最近、特にサーバー側でかなり優れています。特定の懸念事項はありますか?
ブリアンティスト14

「お望みのオペレーティングシステムを指定しないで…」私は元のポスターではありません。私は単にこれに「+1」を与え、「良いヒント!」と言って、個人的な問題だけで説明したサイトユーザーです:マイクロソフト。これが元のポスターの問題であるかどうかについては、私の立場ではありません。
JakeGould

間違いだ 私はモバイルにいるので、見逃しやすいです。あなたが特定の懸念を持っている場合、それは議論に追加され、おそらくOPに役立つでしょうので、私はまだ興味があります。
ブリアンティスト14

1
元のポスターは、バックアップツールとしてTime Machine(Apple固有のMac OS Xツール)のみに言及しており、FuseのおかげでMacユーザーがNTFSでドライブをクロスフォーマットすることがあるApple側からのみこの問題に近づいているかもしれません。プラットフォームの互換性があり、ReFSを実際に処理できるMicrosoft OS環境では、これをマウント(または管理)しません。どういうわけか、ReFSがOSの懸念なしで使いやすさと弾力性のクロスプラットフォームである場合、素晴らしい!しかし、提示されているように、このシナリオで採用されるのを妨げるものになるかもしれないと感じています。
JakeGould 14

3

chkbitは、軽量のビットロット検出ツール(OS X / Linux / Windows)です。

chkbitはbitrotを修復できません。その仕事は単にそれを検出することです。

あなたがすべき

  • 定期的にバックアップします。
  • 各バックアップの前にchkbitを実行します。
  • バックアップメディアのビットロットを確認します。
  • チェックされたバックアップからのビットロット復元の場合。

0

常に手動でチェックサムを計算md5sumして定期的にチェックすることも、オンラインのチェックサム機能を備えたbtrfsを使用することもできます。一方、ディスクドライブには既にコードを検出および修正する独自のエラーがあるため、実際には冗長で不必要です。


そして、ある日MD5チェックサムが一致しない場合、どうなりますか?ZFSではデータのスナップショットが許可されているため、ファイルの有効なバージョンを回復できます。通常のファイルシステムでは、データがチェックアウトされないと、バックアップがない限りデータは失われます。
JakeGould 14

@JakeGould、スナップショットは、意図的に変更されていない場合、すべてのスナップショットがディスク上の同じデータブロックを共有するため、これにも役立ちません。
psusi 14

スナップショットが役立ちます。ZFSシステムの動作を調査する必要があります。これらは、このようなデータ腐敗の問題に対処するために特別に設計されており、データのアラートと復元の方法を提供します。
JakeGould

@JakeGould、いいえ。スナップショットのポイントは、データを複製しないため、2倍のスペースを取ることです。ZFSは、データが破損したことを通知できますが、冗長なRAID構成で構成しない限り、データを回復することはできません。RAIDを使用している場合は、スナップショットではなく、うまくいけばバックアップコピーが提供されます。
psusi

@psusi md5sumを実行することは、それだけでは回復に何もしないため、実際には良い解決策ではありません。ドライブにはエラー修正機能があるため、整合性のチェックは冗長ではないと思います。世界は複雑で、ハードウェアは常に壊れています。回復が目標です。
ヘケビントラン14

0

Windowsの場合、この小さなプログラムを発見しました。

DiskFreshはシンプルでありながら強力なツールであり、各セクターを読み書きすることでデータを変更せずにハードディスクの信号を更新できるため、ディスクのストレージの信頼性が向上します。」

ディスク上のすべてのセクターの完全な読み取り/書き込みサイクルを実行するため、ビット腐敗を防ぐことができます。

アーカイブ用に使用するSATAハードディスクがいくつかあるため、常にコンピューターに接続されているわけではありません。私はそれらをプラスチックの囲いの中に入れて、いくつかの水分吸収バッグと一緒に引き出しに保管されています。必要に応じて、タワーに取り付けたSATAディスクスロットの1つにスライドさせるだけです。彼らはオフラインで長時間座っているので、私はそれらのbitrotについていくつかの懸念を持っています。このユーティリティを見つけて、これらのディスクで試してみました。ディスク全体に対して完全な読み取り/書き込みを実行するため、時間がかかることに注意してください。私は通常一晩に一回それを使用します。


答え、特に太字の部分でソフトウェアを推奨する方法をお読みください。回答を編集して、ガイドラインに従ってください。ありがとう!
ベルティエブ
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.