ファイルの破損に対するリカバリ保護を提供するアーカイブファイル形式はどれですか。


10

外付けHDDを使用して、ファイルを大きなアーカイブファイルに入れてバックアップします。

私は何千もの小さなファイルを持っていて、それらを外付けHDDに送信する前に、サイズが500MBから4.2GBのアーカイブに入れます。しかし、1つのハードディスクに障害が発生すると、アーカイブ全体またはアーカイブ内の1つのファイルのみが破壊されますか?少しだけ裏返しにすると、アーカイブの大部分が役に立たなくなる恐れがあります。

CRCチェックのようなものは破損の存在を警告することができますが、破損したアーカイブから破損していないファイルを回復する機能に興味があります。アーカイブ構造のネイティブ設計または補足的なリカバリツールの存在によって、このような障害からリカバリするための最良の機能を提供するアーカイブファイル形式はどれですか。この機能にzipファイルとisoファイルの違いはありますか?


ファイル同期に使用するプログラムの少なくとも1つがマルチスレッドコピーをサポートしていることを知っています。これにより、多数の小さなファイルをコピーする際の速度の一部が緩和されると思います。また、確実にテストする必要がありますが、圧縮を使用しない場合でも、多数の小さなファイルのアーカイブを作成すると、いくつかの大きなファイルのアーカイブを作成するよりも時間がかかるという疑いがあります。ただし、これがWindowsのみの問題かどうかは覚えていません。iirc、たくさんの小さなファイルをブロックで処理できるLinux用のソフトウェアソリューションがいくつかありますが、詳細を思い出せません。
JAB 2014年

質問をもう一度開いてください。私はそれを書き直しましたが、今はもっと明確になるはずです。「ベスト」は常にいくらか意見に基づいていますが、ここでベストになるための要件は非常に明確です。個人的な意見私見のための小さな部屋。再開後にこのコメントを削除してください。
マルセル

回答:


8

アーカイブのディレクトリ部分が損傷すると、アーカイブ全体が役に立たなくなる可能性があるため、バックアッププロセスに別のステップを追加して、いわゆるパリティファイルを生成することをお勧めします。元のファイルのデータブロックが破損した場合、パリティファイルのデータと元のファイルの有効なブロックを組み合わせることで、データブロックを再構築できます。

そこにある変数は、あなたが修理できるようにしたいどのくらいのダメージがあるでしょう。シングルビットフリップから保護する場合、パリティファイルのサイズは1ビットだけになります。ディスクセクターサイズの調整が必要な場合は、明らかにコストが高くなります。

この背後には大きな理論があり(「前方誤り訂正」を参照)、実際に広く使用されています。たとえば、これはCDがある程度のスクラッチに耐えられる方法であり、携帯電話が損失の多い接続で妥当な通話品質を維持できる方法です。

簡単に言えば、.parファイルを見てください。


1
おかげで、パリティファイルを検索しているときに、WinRARのリカバリレコードは日常的に使用する方が簡単であることがわかりました。QuickParも試してみます。
sevenkul 14年

2
1ビットのエラー訂正データは、nビットデータファイルの1ビットエラーを修復するには不十分です。このようなエラーは単一ビットで検出できますが、修復するには、少なくともnビットのログが必要です。
トム・スミス

4

Bup [1]は物事をバックアップし、パリティー冗長性を自動的に追加するため、ビットロートはほとんど起こりません。壊滅的なディスク障害は依然として問題なので、git-annexで使用できます。

git-annex [2]は、多くのリポジトリに保存されているファイルを管理します。それらの一部は、コンピューター、サムドライブ、sshログイン、いくつかのクラウドサービス、またはbupバックアップリポジトリ[3]に保存され、ファイルデータをほとんど透過的に流れさせます。リクエストにより、または自動的に設定したリポジトリに。これはまた、Haskellで書かれたクラウド、フリー、オープンソースのソフトウェアプロジェクトでもあり、Linux、Mac、Windows、Androidなどの多くのプラットフォームで実行されているバージョンを備えています。

[1] https://github.com/bup/bup

[2] http://git-annex.branchable.com/

[3] http://git-annex.branchable.com/special_remotes/bup/


3

しかし、1つのハードディスク障害がアーカイブ全体を破壊するのか、それともアーカイブ内の1つのファイルだけを破壊するのか?

すべてを1つの大きなアーカイブとしてコピーする以外に方法がない場合は、圧縮アーカイブと非圧縮アーカイブのどちらを使用するかを決定する必要があります。

アーカイブファイル自体が(ヘッダーが破損しているなどの理由で)読み取れなくなった場合でも、tarballなどの非圧縮アーカイブの内容はファイル回復ソフトウェアで検出できます。

圧縮されたアーカイブを使用すると、アーカイブファイルの1ビットのみが変更された場合でもチェックサムエラーが発生した場合に、ファイルの抽出を拒否する可能性があるため、危険な場合があります。

もちろん、何百ものファイルを1つの圧縮アーカイブに保存するのではなく、何百もの圧縮ファイルを1つの非圧縮アーカイブに保存することで、リスクを最小限に抑えることができます。

gzip *
tar cf archive.tar *.gz

野生生物のtarballでgzip圧縮されたファイルをたくさん見たことはありません。反対のものが人気があります(つまり、tar.gzファイル)。

zipファイルとisoファイルに違いはありますか?

ZIPは(大部分は必須ではありませんが)圧縮されたアーカイブであり、ISOは、光ディスクからファイルに低レベルでコピーされた生データを示す形式です。後者は文字通りすべてを含むことができます。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.