長時間のクラウドストレージ用の冗長アーカイブを作成するための良い習慣


3

写真、ドキュメント、その他の重要なもののデジタルアーカイブを作成して、クラウド(Amazon Glacierなど)に保存したい。できればアーカイブごとに1年、それぞれ最大10ギガバイト。ストレージエラーとネットワーク転送エラーが何も破壊しないことを確認したいので、確実な回復データのオーバーヘッドを含めたいと思います。

ここに推奨されるベストプラクティスとツールはありますか?リカバリデータを使用したRAR 各ファイルのチェックサムをアーカイブとともに保存する価値はありますか?他の提案はありますか?

回答:


2

バックアップに追加のリカバリデータを含める場合は、Parchiveタイプのソリューションを使用できます。生成する冗長性/リカバリデータの量と、分割する方法(ある場合)を指定します。この方法を使用する利点は、選択した実際のバックアップおよびストレージ方法に依存しないことです。zip、tar、Windowsバックアップ、またはファイルを生成し、Parchiveツールを介して追加のリカバリファイルを生成するその他のものを使用できます。

Amazon GlacierとS3の両方のサービスにはファイルチェックサムを生成する機能があるため、ファイルをアップロードしたら、ローカルとリモートのチェックサムを比較して、ファイルがエラーなしで転送されたことを確認できます。

さらに、これはAmazonがこのトピックに関して述べなければならないことです。

耐久性 – Amazon Glacierは、アーカイブの年間平均耐久性が99.999999999%になるように設計されています。このサービスは、複数の施設と各施設内の複数のデバイスにデータを冗長的に保存します。耐久性を高めるため、Amazon Glacierは、アーカイブのアップロードでSUCCESSを返す前に、複数の施設にデータを同期的に保存します。面倒なデータ検証と手動修復が必要な従来のシステムとは異なり、Glacierは定期的かつ体系的なデータ整合性チェックを実行し、自動的に自己修復するように構築されています。

これは、ファイルのいずれかが1 年間にわたって偽造される確率が0.00000000001(1e-11)しかないことを意味します。別の言い方をすれば、Glacierに1,000億のファイルを1年間保存すると、そのうちの1つが失われることが予想されます。

追加の保証が必要な場合は、データを複数のGlacierリージョンまたは別の地域のまったく異なるサービスプロバイダーにアップロードすることを検討してください。


PARアーカイブと組み合わせると、手頃な価格に応じて、これは素晴らしいソリューションになる可能性があります。また、QuickParよりもPARアーカイブにMultiParを使用します。その主な定義機能は、サブフォルダーのパリティを生成することです。これはQuickParにはありません。
フレイジャー

0

一般に、記憶媒体の信頼性を完全に信頼していない場合は、独自の修復可能な冗長性を導入する必要があります。

これを行う総当たり的かつ迅速な方法は、すべてを2回アップロードするだけです。おそらくそれはしたくないでしょう。

関係しますが、ファイルを小さなブロックに分割し、QuickParなどのツールを使用して「par2」ファイルを作成する場合。(ここにチュートリアルがあります)その後、ファイルが欠落している場合は回復できると思います。これは通常、Usenetを介して転送および「取得」されるバイナリファイルの信頼性を高めるために使用されます(実際にはそのようには設計されていません)が、このレベルの冗長性が必要な任意の場所で使用できます。


0

古いPAR形式に代わるものがあります:DVDisaster、DARおよびpyFileFixity(私が開発しました)。ただし、クラウドサービスは、データを保存するための独自のシステムを備えている必要があります。提供するストレージスペースにより、データの破損率が驚くほど高くなるため、いずれにしても安全である必要があります。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.