長期間、大容量のデータストレージ(アーカイブ)に使用するメディアは何ですか?


57

この質問はhttps://superuser.com/questions/374386/how-to-store-and-preserve-lots-of-dataに触発されました。他にも同様の質問がありましたが、同じ基準の質問はありませんでした。

これは1つの2つの質問です。

  1. 火災以外の何十年も生き残り、何十年も利用できるはずの財務/重要レコードをどのように保存しますか?
  2. 家族の写真/ビデオを保存し、今から100年後にストレージでそれらを見つけて使用できるようにしたいとしましょう。これはどのように行われますか?

基準

  1. 長期とは、30年以上の保証を意味します。平均100年以上。[これが実用的でない場合は、最も近いソリューションを使用してください]
  2. 大容量とは、数テラバイトを意味します。
  3. 答えは、「妥協のない/産業用」ソリューション、またはホームオフィス/小規模ビジネスユーザー向けの実用的なソリューションです。
  4. 期間中、メディアはアクティブになりません。(つまり、ハードドライブを提案する場合、それらは回転しません)。
  5. さらに、これらのアーカイブを読む必要はありません。それらは、緊急または「将来の世代」の目的のためにあります。
  6. メンテナンスは必要ありません(可能な場合)。

私の考え:

  1. CD-R / DVD-Rは、短期間であっても、バックアップ用のひどい媒体であることが証明されています。それらは非常に壊れやすいように見え、元の状態でも非常に短時間でデータを失うようです。
  2. 私は仕方がありませんが、1TBのハードディスクにデータを保存し、10、2年後にそれらが正しくスピンアップして、ひどいアイデアになると期待していると思います。私が間違っている?
  3. 産業用テープドライブは実行可能なオプションのように思えますか?

私は専門家ではありませんが、テープと言います。この質問はServer Faultの方が良いかもしれませんが、正直なところどちらにも完全に当てはまるとは思わないので、投票を拒否します。それは良い質問であり、どこかに住んでいるはずです。
-Shinrai

@Shinraiに同意します。誰かがそれがどこにあるべきかについてコメントできるなら、私はこれをどこかに移動することを歓迎します。
-user606723

4
妥協したくない場合は、介入なしで少なくとも40,000年続くように設計された既存のテクノロジーがあります。voyager.jpl.nasa.gov
spacecraft

未来はクリスタルにあり、360TBを保存できる可能性があり、100万年続く可能性があります。参照:5D「スーパーマンメモリクリスタル」は無制限の生涯データストレージを告げる
ケノーブ

回答:


20

論文

封印された保管庫に保管されているアーカイブ用紙に保管されているインク以外に、現在の媒体は、メンテナンスなしで平均100年間持続することが証明されていません。

古紙

古い紙はリネンや麻などの素材で作られていたため、自然にアルカリ性です。または無酸、したがって数百年続く。20世紀の紙とほとんどの現代の紙は通常、木材パルプから作られます。木材パルプは酸性であることが多く、長期間保存されません。

アーカイブインク

これらの永続的な非退色インクは、光、熱、および水に耐性があり、紙または写真材料の永続性に影響を与える可能性のある不純物を含みません。ブラックアクティニックインクは化学的に安定しており、他のインク顔料のように不純物を吸収する傾向のない無機顔料を特長としています。

冗長ストレージ

トーバルズはかつて言った

テープバックアップを使用するのは弱虫のみです:_real_ menは重要なものをftpにアップロードするだけで、世界中の人にそれをミラーリングさせる

これは、単一のメディア上の単一のコピーに依存すべきではないことを示唆しています。

磁気媒体ではありませんか?

http://www.zdnet.com/blog/perlow/the-bell-tolls-for-your-magnetic-media/9364?tag=content;siu-container

  • 磁気媒体の回復不能な劣化の典型的な例。
  • ハードウェアおよびソフトウェア(およびデータ形式)の問題

特殊なシステムではない

2002年には、フォーマットを読み取ることができるコンピュータが希少になり、ディスクにアクセスできるドライブがさらに希少になるため、ディスクが読み取り不能になるという大きな懸念がありました。元のコードをエミュレートすることの難しさは別として、主要な問題は、静止画像がシングルフレームアナログビデオとしてレーザーディスクに保存されていたことでした。

http://en.wikipedia.org/wiki/BBC_Domesday_Project#Preservation

長期個人用ストレージ

http://www.zdnet.com/blog/storage/long-term-personal-data-storage/376

  • メディアとフォーマットの両方が読めなくなる可能性があります。
  • 顔料インクを使用して無酸紙に印刷し、涼しく乾燥した暗い場所に保管してください。
  • 最初の問題は、寿命を最大限にするためにデータ形式を選択することです。
  • 独自の形式の使用を避ける
  • USCSFはすべてのオリジナルテープ(ベータSPやVHSのような多くが廃止された形式)を75Mbit motionJPEG2000形式に転送しています

1
1)これについての詳細を提供できますか?通常のハードコピーはそれほど長く続かないでしょうか?(100年前の写真は問題ないようです)。2)現在のデータ媒体がこれほど長く続かない場合は、可能な限りクローゼットソリューションを使用することをお勧めします。何十年も前から古い箱を調べられず、忘れられていた古い写真などを見ることができなくなることを
憂慮して

@ user606723:更新された回答を参照
-RedGrittyBrick

私は、酸のない紙へのレーザー印刷が、100〜200年で読める可能性が高いデータ(ページあたり数メガバイト)を保存する良い方法だと考えました。それを読むためのソフトウェアは比較的簡単で、スキャナーは常に利用可能であると推測されるので、フォーマットは(複雑すぎない限り)有能なアマチュアが回復する能力を超えて実際に「なくなる」ことは決してありません。
ダニエルRヒックス

63

簡潔な答え

エントロピー(死とも呼ばれます!)のため、長い時間枠を保証することは不可能です。デジタルデータは崩壊し、宇宙の他の物と同様に死にます。しかし、それは遅くなる可能性があります。

現在、30年以上のコールドデータアーカイブを保証する、フェイルプルーフで科学的に証明された方法はありません。Long Now博物館Rosetta Disksプロジェクトのように、いくつかのプロジェクトはそれを目指していますが、それらはまだ非常にコストが高く、データ密度が低い(約50 MB)ものです。

それまでの間、科学的に証明された弾力性のある光学メディアを使用して、パナソニックのようなブルー​​レイディスクHTLタイプ、またはバーバティムゴールドアーカイブのようなアーカイブグレードDVD + Rのような冷蔵保管し、ソフトスポットの気密ボックスに保管することができます(避ける)高温)と光のうち。

また、冗長化:データ(少なくとも4)の複数のコピーを作成し、計算はすべてが大丈夫であることを定期的にチェックするためにハッシュし、数年ごとに新しいディスク上のデータを書き換える必要があります。また、多くのエラー修正コードを使用すると、破損したデータを修復できます!

長い答え

時間とともにデータが破損するのはなぜですか?その答えは、エントロピーという言葉にあります。これは、宇宙の主要で避けられない力の1つであり、システムが時間の経過とともに次第に秩序を失います。データの破損とは、ビット順序の乱れです。つまり、宇宙はあなたのデータを嫌っています

エントロピーと戦うことは、死と戦うこととまったく同じです。あなたは成功する可能性は決してありません。しかし、エントロピーを遅らせることができるように、死を遅らせる方法を見つけることができます。破損を修復することでエントロピーをだますこともできます(つまり、破損を止めることはできませんが、事前に対策を講じれば、破損が発生した後に修復できます!)。生と死に関するものと同じように、魔法の弾丸も、すべてのための1つのソリューションもありません。最良のソリューションでは、データのデジタルキュレーションに直接関与する必要があります。そして、あなたがすべてを正しく行ったとしても、あなたはあなたのデータを安全に保つことを保証されません、あなたはあなたのチャンスを最大にするだけです。

良いニュースのために:良い品質のストレージメディアと優れたアーカイブ/キュレーション戦略組み合わせる場合、データを保持するための非常に効率的な方法があります:失敗に備えて設計する必要があります。

優れたキュレーション戦略とは何ですか?わかりやすく説明しましょう。見つける情報のほとんどは、アーカイブに関するものではなく、バックアップに関するものです。問題は、ほとんどの人がバックアップ戦略に関する知識をアーカイブに移すことであり、多くの神話が今では一般的に聞かれているということです。実際、数年間のデータの保存(バックアップ)と、少なくとも数十年にわたる可能な限り長い時間のデータの保存(アーカイブ)はまったく異なる目標であるため、異なるツールと戦略が必要です。

幸いなことに、非常に多くの研究と科学的結果があるので、フォーラムや雑誌ではなく、それらの科学論文を参照することをお勧めします。ここで、私の読み物のいくつかを要約します。

また、そのようなまたはそのような記憶媒体が完全であると主張して、主張と非独立の科学的研究に注意してください。有名なBBC Domesdayプロジェクトを思い出してください:«Digital Domesday Bookは1000年ではなく15年続きます»。本当に独立した論文で研究を常に再確認し、ない場合は、保存媒体がアーカイブに適していないと常に仮定します。

探しているものを明確にしてみましょう(質問から):

  • 長期アーカイブ:賢明で再現性のない「個人」データのコピーを保持する必要があります。アーカイブは、より根本的に異なるバックアップとして、ここでも説明:バックアップ、アーカイブであるのに対し、定期的に更新されますので、バックアップ(すなわち、OS、作業フォルダのレイアウトなど)にリフレッシュする必要があるダイナミックな技術データのためのものである静的なデータをそのあなたはたぶん一度だけ書くだけで時々読むだけでしょう。アーカイブは、通常は個人的な一時データ用です。

  • コールドストレージ:アーカイブデータのメンテナンスを可能な限り避けたい。これは大きな制約です。というのは、媒体は非常に長い間安定しているコンポーネントと記述方法を使用する必要があることを意味します。ユーザーからの操作やコンピューターや電源への接続は必要ありません。

分析を容易にするために、まず冷蔵ソリューションを検討してから、長期アーカイブ戦略を検討しましょう。

低温貯蔵媒体

上記のように、優れたコールドストレージメディアを定義しました。操作を必要とせずに長時間データを保持する必要があります(そのため、「コールド」と呼ばれます。クローゼットに保管するだけで、接続する必要はありません。データを維持するコンピューター)。

は地球上で最も弾力性のある記憶媒体のように見えるかもしれません。なぜなら、私たちはしばしば古代からの非常に古い原稿を見つけるからです。ただし、紙には大きな欠点があります。まず、データ密度が非常に低く(小さな文字やコンピューターツールを使用しても、紙に最大100 KBを超えて保存できない)、監視する方法がなければ時間とともに劣化します:紙、ハードドライブと同様に、サイレント破損の影響を受けます。ただし、デジタルデータのサイレントな破損を監視することはできますが、紙の上ではできません。たとえば、画像が同じ色を10年間だけ保持することを保証することはできません。色は劣化し、元の色を見つける方法はありません。もちろん、キュレートできます 画像復元のプロであれば写真を使用しますが、これには非常に時間がかかりますが、デジタルデータを使用すると、このキュレーションおよび復元プロセスを自動化できます。

ハードドライブ(HDD)の平均寿命は3〜8年であること知らいます。それらは時間とともに劣化するだけでなく、最終的には死ぬことが保証されています(アクセス不能)。次の曲線は、すべてのHDDが驚異的な速度で死ぬ傾向を示しています。

エラータイプを考慮したHDD故障率の進化を示すバスタブ曲線(設計されたデバイスにも適用可能):

curve-hdd1

HDD故障率を示す曲線、すべてのエラータイプがマージされました: curve-hdd2

ソース:Backblaze

故障に関連して、3種類のHDDがあることがわかります。急速に死にかけているHDD(例:製造エラー、HDDの品質不良、ヘッドの故障など)、絶えず死にかけているHDD(良い製造、さまざまな「通常の」理由、これはほとんどのHDDに当てはまります)、そして最終的にはほとんどのHDDよりも少し長生きし、最終的に「通常のもの」のすぐ後に死ぬ堅牢なもの(例:ラッキーHDD、あまり使われない、理想的な環境条件など)。したがって、HDDが死ぬことが保証されます。

HDDが頻繁に死ぬのはなぜですか?つまり、データは磁気ディスクに書き込まれ、磁場は消えるまで何十年も続くことがあります。彼らが死ぬ理由は、記憶媒体(磁気ディスク)と読み取りハードウェア(電子ボード+回転ヘッド)が結合されているためです:それらは分離できず、磁気ディスクを取り出して別のヘッドで読み取ることはできません電子ボード(物理データをデジタルに変換する)は、ほぼすべてのHDDで異なり(同じブランドとリファレンスであっても、元の工場によって異なります)、スピニングヘッドの内部メカニズムは非常に複雑なため、今日では不可能です人間が磁気ディスクに完全に回転ヘッドを配置し、それらを殺すことはありません。

さらに、HDDは使用しないと時間がたつ減磁することが知られています(SSDを含む)。したがって、データをハードディスクに保存し、クローゼットに保存し、電気接続なしでデータを保持すると考えることはできません。少なくとも年に1回または数年に1回、HDDを電源に接続する必要があります。したがって、HDDは明らかにコールドストレージには適していません。

磁気テープ:多くの場合、バックアップのニーズに応えるものとして、またアーカイブの拡張として説明されています。磁気テープの問題は、非常に敏感であるということです:磁気酸化物粒子は、太陽、水、空気、引っかき傷によって容易に劣化し、時間や電磁装置によって消磁されたり、時間の経過とともに脱落したり、プリントスルーします。そのため、通常は専門家がデータセンターでのみ使用します。また、10年以上データを保持できることが証明されたことはありません。それでは、なぜ彼らはしばしばバックアップを勧められますか?以前は安価だったため、当時は、磁気テープを使用する方がHDDより10倍から100倍安く、HDDは今よりずっと安定性が低い傾向がありました。そのため、費用対効果のため、磁気テープは主にバックアップに推奨されます回復力のためではなく、データのアーカイブに関して最も関心があるのは回復力です。

CompactFlashおよびSecure Digital(SD)カードは、非常に頑丈で堅牢であることが知られており、壊滅的な状況に耐えることができます

ほとんどのカメラのメモリカードは事実上破壊不可能であると、Digital Camera Shopperマガジンで発見されました。5つのメモリカードフォーマットは、コーヒーやコーラで煮詰められ、踏みつけられ、洗われ、浸されて生き残りました。

ただし、他の磁気ベースのメディアと同様に、データを保持するために電界に依存しているため、カードが使い果たされた場合、データが完全に失われる可能性があります。したがって、コールドストレージには最適ではありません(電界を更新するためにカード上のデータ全体を時々書き換える必要があるため)が、バックアップや短期または中期のアーカイブに適した媒体になる可能性があります。

光学媒体:光学媒体は、CD、DVD、Blu-ray(BD)など、レーザーを使用してデータを読み取るストレージ媒体の一種です。これは紙の進化と見ることができますが、データを非常に小さなサイズで書き込むため、紙よりも正確で弾力性のある素材が必要でした。光ディスクはまさに​​それです。光学メディアの2つの最大の利点は、ストレージメディアが読み取りハードウェアから分離されていること(つまり、DVDリーダーが故障した場合、いつでも別のディスクを購入してディスクを読み取ることができること)、およびレーザーに基づいていることです。将来の証明(つまり、レーザーの作り方を知っている限り、CAMILEONがDomesday BBC Projectで行ったように、いつでもレーザーを微調整してエミュレーションで光ディスクのビットを読み取ることができます)。

他のテクノロジーと同様に、新しいイテレーションでは密度が高くなる(ストレージルーム)だけでなく、エラー訂正が改善され、環境の劣化に対する回復力が向上します(常にではありませんが、一般的に正しい)。DVDの信頼性に関する最初の議論は、DVD-RとDVD + Rの間であり、DVD-Rが今でも一般的であっても、DVD + Rはより信頼性が高く正確であると認識されています。現在、アーカイブグレードのDVDディスクは、特に冷蔵保管用に作られており、メンテナンスなしで最低20年まで耐えることができると主張しています。

Verbatim Gold Archival DVD-R [...]は、評判の高いドイツのc't誌(c't 16/2008、ページ116-123)による徹底的な長期ストレステストで最も信頼性の高いDVD-Rとして評価されています。 )[...] 18年の最小耐久性と32〜127年の平均耐久性(25℃、湿度50%)を達成しています。これらの値に近いディスクは他にありません。2番目に優れたDVD-Rの最小耐久性はわずか5年でした。

LinuxTech.netから

さらに、一部の企業は専門に非常に長期のDVDアーカイブと広く、彼らが1000年以上にわたってデータを保持できると主張し、MillenniataまたはDataTresorDiscからM-ディスクのように、それらを販売、およびによって検証いくつかの(非依存しない)の研究から( 2009)あまり科学的ない他の人の間で

これはすべて非常に有望なようです!残念ながら、これらの主張を確認するのに十分な独立した科学的研究はなく、利用可能ないくつかの研究はそれほど熱心ではありません。

湿度(80%RH)および温度(80°C)は、データの可読性を定期的にチェックする2000時間(約83日間)のテストで、いくつかのDVDのエージングを加速しました。 いくつかのDVDブランドで湿度と温度が老化を加速

フランスのデジタルデータアーカイブ機関(Archives de France)から翻訳、2012年からの研究。

最初のグラフは、劣化の進行が遅いDVDを示しています。急速な劣化曲線を持つ2枚目のDVD。3番目は、M-DiscやDataTresorDiscなどの特別な「非常に長期的な」DVD用です。ご覧のように、それらのパフォーマンスはクレームに完全には適合せず、標準グレードの非アーカイブグレードDVDと比べて低いか、同等です!

ただし、M-DiscやDataTresorDiscなどの無機光ディスクには1つの利点があります。これらは、光の劣化にまったく影響を受けません。

240時間の光(750 W /m²)を使用した加速老化: いくつかのDVDブランドの光加速老化

これらはすばらしい結果ですが、Verbatim Gold ArchivalなどのアーカイブグレードのDVDも同じパフォーマンスを達成し、さらに、オブジェクトにとって最も制御可能なパラメーターは光です。光のあらゆる影響を取り除きます。光よりも温度と湿度に強い弾力性のあるDVDを入手する方がはるかに便利です。

この同じ研究チームはまた、Blu-ray市場を調査して、長期の低温貯蔵に適した媒体を持つブランドがあるかどうかを確認しました。彼らの発見は次のとおりです。

DVDと同じパラメーターの下で、いくつかのBlu-rayブランドで湿度と温度が老化を加速しました。 temp-bd

いくつかのBluRaysブランドの光加速老化、同じパラメーター: light-bd

2012年のフランス公文書館のこの研究からの翻訳。

ここここで、すべての調査結果の2つの要約(フランス語)。

微妙に言えば、最高のBlu-rayディスク(パナソニック製)は、湿度+温度テストにおいて最高のアーカイブグレードDVDと同様に動作しましたが、光にはほとんど影響を受けませんでした!そして、このBlu-rayディスクはアーカイブグレードでもありません。さらに、Blu-rayディスクはDVDよりも強化されたエラー修正コードを使用し(CDに比べて強化されたバージョンを使用します)、データを失うリスクをさらに最小限に抑えます。したがって、一部のBluRayディスクは、コールドストレージに非常に適していると思われます。

実際、一部の企業は、パナソニックやソニーなどのアーカイブグレードの高密度ストレージBlu-rayディスクに取り組み始めており、平均寿命50年で300GBから1TBのストレージを提供できると発表しています。また、大企業はBlu-rayディスクを「コールド」として使用するロボットシステムを開発したFacebookなど、コールドストレージ用の光学媒体(電力を供給せずにコールドストアできるため、消費するリソースがはるかに少ないため)システムがめったにアクセスしないデータ用のストレージ

ロングナウアーカイブイニシアチブ:ロングナウ博物館によるロゼッタディスクプロジェクトなど、他にも興味深いリードがあります。これは素晴らしいプロジェクトです。これは、非常に長期間のコールドストレージ用に50 MBを保存できるメディアを提供する最初のプロジェクトです(カーボンで記述されているため)。データ(Blu-rayのバイオレットビームのような、奇妙なフォーマット仕様や処理する技術的な手間はありません。拡大鏡が必要です!)ただし、これらはまだ手動で作成されているため、約2万ドルの費用がかかると推定されており、個人的なアーカイブスキームとしては少なすぎます。

インターネットベースのソリューション:データをコールドストアするもう1つの媒体はネット上です。ただし、クラウドバックアップソリューションは、データを保持したい限り、クラウドホスティング企業が存続できない可能性があることを第一に懸念するため、適切ではありません。他の理由には、バックアップがひどく遅い(インターネット経由で転送されるため)ことや、ほとんどのプロバイダーがファイルをオンラインに保つためにシステム上に存在することを要求するという事実が含まれます。たとえば、CrashPlanとBackblazeはどちらも、過去30日間に少なくとも1回はコンピューターに表示されていないファイルを永久に削除するため、外部ハードドライブのみに保存するバックアップデータをアップロードする場合は、少なくとも月に1回USB HDDを使用し、クラウドと同期してカウントダウンをリセットします。しかしながら、SpiderOakなど、一部のクラウドサービスは、カウントダウンなしでファイルを無期限に保持することを提供します(もちろん支払いを行う限り)。そのため、選択したクラウドベースのバックアップソリューションの条件と使用法に十分注意してください。

クラウドバックアッププロバイダーに代わる方法は、独自のプライベートサーバーをオンラインでレンタルすることです。可能な場合は、ハードウェア障害が発生した場合にデータの自動ミラーリング/バックアップ機能を備えたサーバーを選択します(いくつかは、契約で失われたデータに対しても保証します) 、しかしもちろんそれはより高価です)。これは優れたソリューションです。1つ目はまだデータを所有しているため、2つ目はハードウェアの障害を管理する必要がないため、これはホストの責任です。ホストが廃業した場合でも、データを取り戻すことができます(夜中にシャットダウンしないように深刻なホストを選択しますが、事前に通知します。それを契約に入れるように依頼できます)。他の場所で再ホストします。

独自のプライベートオンラインサーバーを設定する手間が不要で、余裕がある場合、AmazonはGlacierと呼ばれる新しいデータアーカイブサービスを提供します。目的は、データを長期にわたってコールドストアすることです。したがって、Glacierにデータを保存するにはかなりの費用がかかりますが、このサービスは手の届かない場所にデータを保存するため、このデータを取得するにはさらに費用がかかります、頻繁にアクセスしたいデータを保持しません。これは、このサービスがデータの書き込み価格だけでなく、読み取り価格も見積もることを意味します。このサービスには莫大な費用がかかりますが、いくつかの最も賢明なデータにはかなりの価値があるかもしれません(つまり、非常に賢明なテキストファイルまたは画像がいくつかある場合、この種のデータは通常サイズが小さいため、氷河に保管するのにそれほど費用はかかりません)。

コールドストレージの欠点:ただし、コールドストレージメディアには大きな欠陥があります。コールドストレージメディアはデータの整合性を自動的にチェックできないため、整合性チェックはありません(エラー修復スキームを実装して、破損後の損傷が発生しましたが、それを防ぐことも自動的に管理することもできません!)コンピューターとは対照的に、ファイルシステムを計算/ジャーナライズ/チェックおよび修正する処理ユニットがないためです。一方、コンピューターと複数のストレージユニットを使用すると、アーカイブの整合性を自動的に確認し、必要に応じてデータアーカイブで破損が発生した場合(同じアーカイブのコピーが複数ある限り)、別のユニットに自動的にミラーリングできます。

長期アーカイブ

現在利用可能な最高の技術を使用しても、デジタルデータは数十年(約20年)しか保存できません。したがって、長期的には、コールドストレージだけに頼ることはできません。データを将来的に(技術的な変更があっても)取得し、リスクを最小限に抑えるために、データアーカイブプロセスの方法論を設定する必要があります。あなたのデータを失うことの。つまり、データのデジタルキュレーターになり、破損が発生したときに修復し、必要に応じて新しいコピーを再作成する必要があります。

絶対確実なルールはありませんが、ここにいくつかの確立されたキュレーション戦略と、特にあなたの仕事を簡単にする魔法のツールがあります:

  • 冗長性/複製の原理冗長性は、エントロピーの効果を元に戻すことができる唯一のツールです。これは、情報理論に基づく原理です。データを保持するには、このデータを複製する必要があります。エラーコードは、冗長性の原則を正確に自動適用したものです。ただし、データが冗長であることも確認する必要があります:異なるディスク上の同じデータの複数のコピー、異なるメディア上の複数のコピー(固有の問題のために1つのメディアが失敗した場合、異なるメディア上の他のメディアも同時に失敗する可能性はほとんどありません) 、エンジニアリングでは3モジュラー冗長性とも呼ばれるデータのコピーを常に3つ以上保持する必要があります。これにより、コピーが破損した場合、3つのコピーからファイルを修復するために単純多数決を投じることができます。船乗りのコンパスに関するアドバイスを常に覚えておいてください。

コンパスを2つ持ってくるのは無意味です。1つが間違っていると、どちらが正しいか、または両方が間違っているかを知ることができないためです。常に1つまたは3つ以上のコンパスを使用してください。

  • エラー修正コード:これは、あなたの人生をより簡単にし、データをより安全にする魔法のツールです。エラー修正コード(ECC)は、データを修復するために使用できるデータを生成する数学的構造です。これは、より効率的であるのECCは、単純なレプリケーションよりもストレージ容量の少ない多くを使用してデータのより多くを修復することができます(つまり、あなたのファイルの複数のコピーを作る)、そして彼らも、あなたのファイルは、いずれかを持っているかどうかを確認するために使用することができます破損、さらにはそれらの破損の場所を特定する。実際、これはまさに冗長性の原則のアプリケーションですが、レプリケーションよりも賢い方法です。この技術は、4G、WiMax、NASAの宇宙通信など、現在のあらゆる長距離通信で広く使用されています。不運なことに、ECCはテレコミュニケーションに広く見られますが、ファイルの修復ではありません。おそらくそれは少し複雑だからです。ただし、よく知られている(現在は古い)PAR2、DVD Disaster(光ディスクにエラー修正コードを追加することを提供する)、およびpyFileFixity(PAR2の制限と問題を克服するために一部開発しています)など、一部のソフトウェアは利用可能です。LinuxのZFSやWindowsのReFSなど、オプションでReed-Solomonを実装するファイルシステムもあります。これらは技術的にはRAID5を一般化したものです。

  • ファイルの整合性定期的に確認してください:ファイルをハッシュし、時々チェックします(つまり、1年に1回ですが、記憶媒体と環境条件によって異なります)。ファイルが破損していることがわかったら、生成したECCを使用して修復するか、新しいストレージメディアにデータの新しいコピーを作成します。データのチェック、破損の修復、新しい新しいコピーの作成は、データの安全性を保証する非常に優れたキュレーションサイクルです。ファイルのコピーは静かに破損する可能性があるため、特に確認することは非常に重要です。改ざんされたコピーをコピーすると、完全に破損したファイルになってしまいます。これは、データの整合性を自動的にチェックできない光ディスクなどのコールドストレージメディアではさらに重要です(ECCを実装して、少し回復しますが、しかし、彼らは新しい新鮮なコピーを自動的にチェックも作成もできません、それがあなたの仕事です!)。ファイルの変更を監視するには、rfigc.pyスクリプトを使用できますpyFileFixityかのような他のUNIXツールmd5deepHard Drive Sentinelやオープンソースのsmartmontoolsなどのツールを使用して、ハードドライブなどの一部のストレージメディアのヘルスステータスを確認することもできます。

  • アーカイブメディアをさまざまな場所に保管し(家の外に少なくとも1つのコピーがある!)、洪水や火事などの現実の壊滅的なイベントを回避します。たとえば、職場にある1枚の光ディスク、またはクラウドベースのバックアップは、この要件に対処するための良いアイデアです(クラウドプロバイダーは、他のコピーがあればいつでもシャットダウンできますが、安全です) 、クラウドプロバイダーは緊急時にのみオフサイトアーカイブとして機能します)。

  • 環境パラメーターが制御された特定の容器に保管します。光学媒体の場合は、湿気を避けるために、光の当たらない水密の箱に保管してください。ハードドライブとsdカードの場合は、残留磁気がドライブを改ざんしないように、耐磁性スリーブに保管してください。また、気密および水密のバッグ/ボックスに保存し、冷凍庫に保存することもできます:温度が遅いとエントロピーが遅くなり、そのようなストレージメディアの寿命を大幅に延ばすことができます中に入らないでください。そうしないと、媒体はすぐに死にます。

  • 使用する良質のハードウェアをし、事前にそれらを確認してください(例:あなたはSDカードを購入するとき、すべてがあなたのデータを書き込む前に大丈夫であることを確認するためにこのようなHDDのスキャンなどのソフトウェアを使用してカード全体をテスト)。これは光学ドライブにとって特に重要です。Archivesde Franceの調査で実証されているように、品質が焼けたディスクの品質を大きく変える可能性があるためです(DVDバーナーの品質が悪いとDVDの寿命が長くなります)。

  • ファイル形式を慎重に選択してください。すべてのファイル形式が破損に対して回復力があるわけではなく、明らかに弱いものもあります。たとえば、1つまたは2つのバイトのみを改ざんすると、.jpgイメージが完全に壊れて判読できなくなる可能性があります。7zipアーカイブについても同じです。これはばかげているので、アーカイブするファイルのファイル形式に注意してください。経験則として、単純なクリアテキストが最適ですが、圧縮する必要がある場合は非ソリッドzipを使用し、画像にはJPEG2を使用します(まだオープンソースではありません...)。プロデジタルキュレーターの詳細とレビューについては、こちらこちらこちらご覧ください

  • データの読み取りに必要なすべてのソフトウェアと仕様をデータアーカイブと一緒に保存します。仕様は急速に変更されるため、ファイルにアクセスできたとしても、将来的にはデータが読み取れなくなる可能性があることに注意してください。したがって、オープンソース形式とソフトウェアを優先し、データに沿ってプログラムのソースコードを保存して、ソースコードからプログラムを常に適応させて新しいOSまたはコンピューターから起動できるようにする必要があります。

  • 他の多くの方法とアプローチは、ここここ、およびインターネットのさまざまな部分で利用できます

結論

持ちうるものを使用することをお勧めしますが、常に冗長性の原則を尊重し(4つのコピーを作成してください!)、常に整合性を定期的に確認します(したがって、MD5 / SHA1ハッシュのデータベースを事前に生成する必要があります)。破損した場合のコピー。それを行うと、記憶媒体が何であっても、技術的にデータを保持することができます。各チェックの間隔は、記憶媒体の信頼性によって異なります。フロッピーディスクの場合は2か月ごとに、Blu-ray HTLの場合は2/3年ごとに確認してください。

最適な状態では、水密の不透明なボックスに保管し、新鮮な場所に保管したブルーレイHTLディスクまたはアーカイブグレードのDVDディスクを使用することをお勧めします。さらに、SDカードとSpiderOakなどのクラウドベースのプロバイダーを使用して、データの冗長コピーを保存したり、よりアクセスしやすい場合はハードドライブを保存することもできます。

多くのエラー修正コードを使用すると、1日を節約できます。また、これらのECCファイルの複数のコピーを作成できます(ただし、ECCファイルはそれ自体を修復できるため、データの複数のコピーはECCの複数のコピーよりも重要です!)。

これらの戦略はすべて、私が開発中の一連のツール(オープンソース)pyFileFixityを使用して実装できます。このツールは、ファイルの修正を完全に管理するための無料のツールがないことを発見した後、実際にこの議論から始まりました。また、ファイルの固定性とデジタルキュレーションの詳細については、プロジェクトのreadmeとwikiを参照してください。

最後に、この問題に対してより多くの研究開発が行われることを本当に望んでいます。これは私たちの現在の社会にとって大きな問題であり、ますます多くのデータがデジタル化されていますが、この大量の情報が数年以上生き残るという保証はありません。それは非常に憂鬱なことであり、この問題は前面にもっと置くべきだと思います。これは、これがコンストラクターや企業が将来の世代に耐えられるストレージデバイスを作るためのマーケティングポイントになると思います。

/ EDIT:実用的なキュレーションルーチンについては以下をお読みください


6
抜群の答え!これにははるかに多くの賛成票が必要です。
bwDraco

1
さらに情報を追加する予定ですか?教科書として出版することを検討してください。:-)
fixer1234

1
@ fixer1234 yes私はより多くの情報を追加し、さらに重要なこととして、より適切で信頼できる情報を追加する予定です。ファイルの固定性の分野では、誤解や誤って認識された安全なソリューションがたくさんありますので、多くのことを言う必要があります。この投稿を公開した後、更新が明らかに必要なほど多くの情報を見つけたので、参考資料と共にメモのすべてを既にコンパイルしました。SuperUserがこのすべてのデータを公開するのに最適な場所であるかどうかはわかりませんが、自分のブログはありません:-/できる限り簡潔にしようとします。
貪欲な

3
DVD + Rは、偽物を取得しない限り、非常に信頼できます。CD-Rは赤外線から紫までの光の影響を受け(赤外線はどこにでもあり、時にはそれがたくさんあります)、DVD + Rは赤またはそれ以下の影響しか受けません。また、DVDには2層のプラスチックの間に敏感な層があり、CDには鉛筆で書き込み可能な表面のすぐ下に層がありました!! BD-Rディスクが最適です。ディスクを破壊するには紫または紫外線が必要であり、その表面は最も強力です。30年後の成功の可能性が高い実用的なアーカイブには、BD-Rを使用します。しかし、プレイヤーが必要です。
-FarO

1
@OlafMはい、そうです、新しい世代の光ディスクはそれぞれ、素材だけでなく技術的なセットアップ(ピット/グルーブの記述と管理の方法、エラー修正コードなど)において、より信頼性の高い技術をもたらします。。)また、レイヤーの材料にも注意を払う必要があります。すべての光ディスクが同じというわけではありません。通常(常にではありませんが)、アーカイブグレードディスクはより弾力性のある材料で作られています。
15

11

簡単な解決策はありません。アーカイブのメンテナンスはプロセスであり、1回限りのジョブではありません。現在利用可能な3つのアーカイブメディアタイプにはすべて、それぞれプラスとマイナスがありますが、これらの引数はすべてのメディアタイプに適用されます。

  1. 明らかな理由で、30年または100年間DVDやハードディスクを保管した人はいませんでした。そのため、実績はなく、メディアがどのように老化するのか誰も知りません。人工的な老化テストはあまり証明されておらず、ベンダーのテストに依存しています(公平ではありません)。

  2. 最高の結果(一定の温度/湿度、低照度など)を得るには、管理された環境にメディアを保存する必要があります。そうしないと、メディアの寿命が大幅に短くなります。

  3. メディアを読み取るハードウェアとソフトウェアを保守する必要があります(たとえば、SATAインターフェースは、30年後にはすぐに利用できなくなる可能性があります)。

だから、私の意見では、ホームユーザーまたは中小企業のための唯一の実行可能なソリューションはこれです:

  1. さまざまなメディアタイプ(ハードディスクとDVDの両方)にすべてのデータの複数のコピーを保持する
  2. すべてのデータの複数のコピーを複数の場所(自宅および銀行のセーフティボックス)に保持します。
  3. すべてのデータを頻繁に新しいメディアにコピーします(たとえば、2年ごとに新しいハードディスクと新しいDVDディスクにコピーします。データ密度が高まるにつれて、必要なディスクも少なくなります。
  4. 可能であれば、すべての重要なデータの紙のコピーを維持します(たとえば、ビジネス用の年次総勘定元帳の印刷、最も貴重な家族の写真の印刷など)。

1
DVD用のRAIDがあるのだろうか…。つまり、DVDを2年間保管する場合、80%のディスクにエラーがないことを確信できるので、2つのパリティディスクが必要になります。うーん。usenetはパリティファイルを使用すると思います。DVD / CD / BDアーカイブにそのようなものを使用する価値があるかもしれません。
user606723

1
@ user606723:これは非常に良い考えです!PAR2パリティファイルでマルチボリュームRARアーカイブ(元のファイルが本当に大きい場合)のようなものを使用することをお勧めします
...-haimg

4
インターフェイスの互換性は大きな懸念事項です。IBM XTが導入されてから約30年が経過しましたが、現在、どのくらいの数のコンピューターがATA以前のハードディスクとインターフェイスできますか?現在構築されているコンピューターのうち、ハードウェア(コントローラーカードまたはUSBアダプター)を追加せずにPATAハードディスクと接続できるコンピューターは何台ですか?
CVn

1
@ user606723「RAID for DVD」と呼ばれるものは実際に存在し、特にCIRC(Cross-Interleaved Reed–Solomon Coding)を使用して、「エラー修正コード」の形で既に実装されています。そのため、小さな傷やほこりはデータを読み取ることを妨げません。データは既に自動的に修正されているからです。ただし、必要な冗長性のレベルを指定することはできないため、より復元力のあるDVDが必要な場合は、DVDisasterPAR2またはpyFileFixityなどのサードパーティソフトウェアを使用する必要があります。
貪欲な

11

上記の以前の回答のクイックフォローアップでは、30Kの長さの制約のために最初の回答に追加できない追加情報(主な重要性ではない)と参照で、より簡潔に拡張されます。

長期アーカイブはキュレーションプロセスであるため、プロセスの効率と時間(およびリソース)の消費を削減するために注意が必要な他の事項を以下に示します。

  • 重複排除:長期アーカイブを確実に行う唯一の方法は、意図的に設計された冗長性を使用することであるため、無駄な冗長データ(たとえば、USBキーからアーカイブハードドライブにフェッチしたが、すでにコピーが来ているファイルのコピー)を避けたいメインコンピューターから!)。通常、重複と呼ばれる不要な冗長データは、プロセス(同じファイルの異なるバージョンがある場合はどうでしょうか)の両方のストレージコスト(それらはより多くのストレージリソースを必要としますが、必要なときにそれらを見つけるのに苦労します)が悪いです。どのコピーが正しいコピーであるかをどのように知ることができますか?)およびあなたの時間(バックアップをすべてのアーカイブに同期する場合、転送時間に加算されます)。それが、プロのアーカイブサービスが通常自動重複排除を提供する理由です:正確に似ているファイルは同じiノードを取得し、追加のスペースを必要としません。これは、たとえばSpiderOakが行うことです。使用できる自動化ツールがあり、ZFS(Linux)またはReFS(Windows)ファイルシステムが自動的に実行できます。

  • 優先順位付け/分類:ご覧のとおり、長期アーカイブは時間のかかるプロセスであり、定期的に実行する必要があります(健全性チェック、メディア間でアーカイブを同期する、新しいメディアに新しいアーカイブを作成して死にかけているメディアを置き換える、エラー修正コードを使用してファイルを修復する)など)。コストを最小限に抑えるには、カテゴリに基づいてデータの優先度に応じて異なる保護スキームを定義してください。アイデアは、長期アーカイブに使用する外部ハードドライブの1つにコンピューターデータを移動するとき、バックアップの優先順位を定義する1つのフォルダーにそれらを直接配置することです: "重要でない"、 "個人"、 "重要"、 "重要「。その後、各フォルダーに異なるバックアップ戦略を定義できます。一生涯維持したい最も重要なデータ(重要なフォルダー)のみの完全な保護(3台のハードドライブ+クラウド+エラー修正コード+ BluRaysなど)を予約します。 、「重要な」データ(たとえば、3台のハードドライブ+クラウドのバックアップ)に対する中程度の保護、および「個人用」が少なくとも2台の外付けハードドライブにコピーされ、「重要でない」コピー(または1台のハードドライブ)同期が長すぎない場合はドライブしてください...)。通常、あなたはそれを見るでしょう インターネットからダウンロードしたものや、気にしたくないさまざまなファイルやメディア(ソフトウェア、ゲーム、映画など)をすべてダウンロードします。一番下の行はそれです:長期アーカイブにしたいファイルが多いほど、ファイルはより難しく(そして時間がかかります)、この特別な扱いを最小限にするファイルを維持するようにしてください。

  • メタデータは重要なスポットです:優れたキュレーション戦略を使用しても、通常、保護されていないものが1つあります。それはメタデータです。メタデータには、ファイルに関する情報が含まれます。たとえば、ディレクトリツリー(これは数バイトです。これを失うと、ファイルが完全に乱れます!)、ファイル名と拡張子、タイムスタンプ(これこれは大したことではないように思えるかもしれませんが、次のことを想像してください:明日、すべてのファイル(ソフトウェアなどに付属のファイルを含む)が、ファイル名も拡張。コンピューター上の数十億のファイルから必要なファイルを手動で検査して回復できますか?これは異常なシナリオだとは思わないでください。コピーの途中で停電やクラッシュが発生するのと同じくらい簡単に発生する可能性があります。書き込まれているパーティションは完全に破壊される可能性があります(悪名高いRAW)。この問題を克服するには、データを回復するためのデータを準備し、準備する必要があります。ZIP DEFLATEやDARなどの非ソリッドアーカイブ(ただしtarではありません))。DVDisaster(光ディスク用)やZFS / ReFS(ハードドライブ用)など、一部のファイルシステムは自動化されたメタデータの冗長性を提供します。その後、メタデータがクラッシュした場合、TestDiskまたはGetDataBack(部分的なディレクトリツリーの復元を許可)またはISOBuster(光ディスクの場合)を使用してパーティションを復元し、ディレクトリツリーおよびその他のメタデータを復元することができます。これがすべて失敗した場合、PhotoRecを使用してファイルスクレイピングにフォールバックできます。これにより、認識されるすべてのファイルが抽出されますが、完全に無秩序で、ファイル名もタイムスタンプもなく、データ自体のみが回復されます。重要なファイルを圧縮すると、zip内のメタデータを回復できます(zip自体にメタデータが含まれなくなっても、少なくともファイル内には正しいメタデータが保持されます)。しかしながら、ファイルスクレイピングされたすべてのファイルを手動で1つずつ手動で確認する必要があり、時間がかかります。この可能性から保護するために、pyFileFixityまたはPAR2を使用して事前に整合性チェックサムファイルを生成し、ファイルスクレイピング後にこの整合性チェックサムファイルを使用して、コンテンツに応じてファイルを自動的に認識して名前を変更できます(これがファイルスクレイピングメタを自動化する唯一の方法です-ファイルスクレイピングは技術的にはメタデータではなくコンテンツのみを回復できるため、データ回復。

  • 自分のファイル形式とキュレーション戦略をテストしてください:どの形式タイプが他の形式タイプよりも優れているかについての記事の単語を信頼する代わりに、pyFileFixity filetamper.pyを使用するか、いくつかの16進文字を置き換えて自分で試すことができますファイル:ほとんどのファイル形式は、わずか3つの異なるバイトで分解できることがわかります。したがって、ファイル形式を慎重に選択する必要があります:メモにはシンプルなテキストファイルを使用し、メディアには復元力のあるファイル形式を使用します(MPEG-4 Variable Error Correcting Code、ffmpegが実装、refが追加されるなど、まだ作業中です) )、または独自のエラー修正コードを生成します。

  • 統計調査を読んで、主張を信じないでください:前の答えで述べたように、科学的事実のない記憶媒体の寿命についてはいつも贅沢な主張がなされています。特に注意が必要です。確かに、製造業者が長寿に関する偽の、そして検証不可能な主張について自慢することを妨げる法律には何もありません。BackBlazeのハードドライブの故障率に関する年次レポートなどの統計研究を参照することをお勧めします

  • 長い保証付きの記憶媒体を用意してください。保証はデータを戻すことはできませんが、生産者が製品の故障率をどのように評価するかを示します(保証期間中に率が高すぎるとコストが高くなりすぎるため)。


使用するスキームの更新:上記の優先順位付け戦略を適用し、クラウドバックアップサービスSpiderOakをスキームに追加しました。これは、ストレージが無限にあり、完全に暗号化されているため、データの所有権のみを保持するためです。私は自分のデータの唯一のバックアップ媒体としては使用せず、追加レイヤーにすぎません。

だからここに私の現在のスキームがあります:

  • 3台のハードドライブコピーが定期的にチェックおよび同期され、2つの異なる場所に保存されます。
  • 無限のストレージプランを備えたSpiderOak
  • 本当に賢明なデータ用のBluRayディスクですが、大きすぎません(これらのディスクに保存できるデータは50GBに制限しています)
  • pyFileFixityとフォルダーのDVDisaster長期的に維持することを本当に望みます。

私の毎日のルーチンは次のようになっています:重要でないものを隠して(コンピューターからHDDにファイルを移動する)または重要なものをバックアップする(HDDにファイルをコピーするが、コピーを保存する)ために使用できる2.5のポータブルUSB HDDが常に1つありますコンピューター)。非常に重要なものについては、SpiderOakへのオンラインバックアップを追加でアクティブにします(重要なものがコンピューターにあるフォルダーがあるため、そこに重要なファイルを移動するだけで、SpiderOakによって自動的に同期されます)。本当に重要なファイルの場合、pyFileFixityを使用してエラー修正ファイルも計算します。

要約すると、重要なものについては、ポータブルHDD、SpiderOakクラウド、およびコンピューターに保存するため、2つのクイックアクション(ポータブルHDDへのコピーとSpiderOakフォルダーへの移動)でいつでも3 つのコピーがあります。1つのコピーが破損した場合、pyFileFixityを使用してそれらを修正するために多数決を行うことができます。それはです非常に低コストスキーム(両方の価格と時間で)が、非常に効率的でデジタルキュレーション(トリプル冗長性、異なる場所で異なるコピー、異なる媒体、SpiderOakにより、整合性チェックとECC)のすべてのコアの教義を実装しています。

その後、3〜6か月ごとに、ポータブルHDDを自宅の2台目のHDDと同期し、6〜12か月ごとに、別の家にある3台目のHDDとポータブルHDDを同期します。これにより、ローテーションの追加の利点が得られます(6か月後に前回のバックアップで問題が発生し、重要なファイルを削除した場合、2つのホームHDDのいずれかから取得できます)。

最後に、DVDisasterを使用してBluRayディスクにいくつかの非常に重要なファイルを作成しました(およびpyFileFixityの追加のeccファイルが必要かどうかはわかりません)。私はそれらをクローゼットの中の気密箱に保管します。数年ごとにしかチェックしません。

だから、私のスキームは実際には大きな負担ではありません:毎日、ファイルをポータブルHDDと私のSpiderOakフォルダーにコピーするのに数分かかり、その後、私は6か月ごとにいずれかのホームHDDに同期します。これは、同期する必要のあるデータの量によっては最大1日かかる場合がありますが、ソフトウェアによって自動化されるため、コンピューターにソフトウェアを実行させ、別の操作を行う必要があります(購入した100ドルのネットブックを使用しますそうすることで、コピーの途中でコンピューターがクラッシュする心配をせずに、メインコンピューターで同時に作業でき、書き込み中のハードドライブを破壊できます)。エラー修正コードとBluRayスキームは、実際に重要なデータにしか使用されないため、少し時間がかかりますが、まれです。

この方式は、使用することによって、たとえば、(いつものように)を向上させることができるZFS /ハードドライブ上のREFを:これは実装し、自動化リードソロモン誤り訂正符号の保護との整合性チェックを(とdittoblocks!)手動操作なしで私の部分に( pyFileFixityに反して)。ZFS は(現時点では)Windows OSでは実行できませんが、ファイルシステムレベルで同様のエラー修正制御を可能にするReFSがあります。また、これらのファイルシステムを外付けHDDで使用することをお勧めします!自動化されたRSエラー修正と重複排除を備えたZFS / ReFSを実行するポータブルHDDは素晴らしいはずです!(そして、ZFSは非常に高速であるように思われるので、コピーは迅速でなければなりません!)。

最後の注意点:ほとんどの場合、メタデータ(APFSなど)またはRAID 1ミラーリング(btrfs)のみに制限されているため、このリストにあるようなファイルシステムのECC機能に関するクレームに注意してください。私の知る限り、ZFSとReFSのみがメタデータとデータの両方の実際のエラー修正コード(および単純なミラーリングではありません)を提供します。特に、ReFSドライブを起動できないため、ZFSは現在最も進んでいます。


5

マイクロフィルムに行きます。まだ製造されているかどうかはわかりませんが、製造されていなければ驚かれることでしょう。銀ベースのネガは、正しく保管されていれば数百年続きます。もちろん、これは莫大な投資であり、写真撮影と鑑賞のために部屋全体を占有しますが、それはストレージを考慮していません。したがって、メンテナンスなしで100年以上の平均を達成した場合のみです。

そうでない場合-また、タイムカプセルを作成する場合を除き、可能性はあります-HDDバックアップを使用し、10〜15年ごとにすべてを新しいメディアにコピーします。実際、10年ごとにすべてをコピーすることほど、メディアの老化に対する優れた保険はありません。マイクロフィルムよりも、粘土板よりも、砂漠の砂に埋められた石のオベリスクよりも優れています。


4

最大5TB(またはそれ以上?)の磁気テープ(テープドライブ)に最大30年間安全に保存できます。この時間が証明されています。ブルーレイレコーダブルは、最大30年間も安全に保管できますが、容量は約100GBです。

もっとお金があれば、白黒の35mmフィルムに保管します。次の700年間、データは(密度に応じて)復元できると想定されています。(ウィキペディアへのドイツ語リンク


記録として、20-50のブルーレイディスクへの書き込みは問題外ではありません。
user606723

35mmでのデータアーカイブについて聞いたことがありませんが、その原理は明らかです。密度はどのくらいですか?
-Shinrai

@Shinrai:私は映画の密度を
知ら

おそらく、フレームあたり1〜10メガビットの密度を計算できます。
ダニエルRヒックス

3
ニコンのLS-9000 EDは、4000 dpiでフィルムをスキャンし、35 mm(24 x 36 mm)で21.4 Mp /フレームを提供します。実際のデータストレージにその10分の1を使用できる場合(フィルムの欠陥、両端の光学系でのフォーカスと解像度の制限など)、2メガバイト/フレームまたは36露出フィルムの10 MBのようなものそして純粋な黒/白。スキャナーの4000 dpiが制限要因である場合、36-expロールの場合は100 MBです。もちろん、データを読み取る方法に関する情報を他の方法で保存する必要があります。これは、肉眼ではフレームがかなり均一に灰色に見える可能性が高いためです。
CVn

2

表面に顕微鏡で情報がエッチングされた直径3インチのニッケルディスクをお勧めします。

http://rosettaproject.org/blog/02008/aug/20/very-long-term-backup/


3
正確に3インチである必要がありますか?直径75 mmのニッケルディスクが手元にあります...
CVn

このアプローチの唯一の問題は、静止画像(スキャン)しか保存できないことです。しかし、それは現在、非常に長期間のストレージ(2000年まで、千年前!)に最適なアプローチです。ブログのいくつかのコメントで強調された別の欠点は、約50 MBのデータしか保存できないことです。
15

1

この種の期間では、既に紙の上にある(または情報を失うことなく簡単に印刷できる)ものはすべて、その形式で保存するのが最適です。ハードコピーに使用する用紙とトナーに注意してください。

他のものに関しては、私はそれらの期間にわたって続くだろう現在使用されているデジタルメディアを知りません。コレクションを更新するために時間(したがってお金)を費やす場合、磁気テープは実行可能なオプションかもしれません-しかし、それでも、単一のテープが不良になった(またはそれがテープドライブがたまたまそれを読み取ったときにテープを破損させる可能性があります)。

そして、実際のメディアを時の試練に耐えることができたとしても、今から30年後、100年後はもちろん、どんなプログラムでもメディアを読めるかどうかという問題に直面することになるでしょう。


1
磁気テープは、「プリントスルー」から経時的な消磁、酸化物が単にテープから脱落するまで、多くの故障モードの影響を受けます。
ダニエルRヒックス

1

一般的なCD-RとDVD-Rは、重要なデータをアーカイブするのに十分な信頼性がないことは事実です。ただし、それほど速くないDVDは入手できます。

https://www.google.com/search?q=archival+dvd-r


このオプションを指摘してくれてありがとう。DVDレコーダーを持っている人ならだれでもアクセスできるM-Discsの優れた代替手段です。
貪欲な

「Verbatim Gold Archival DVD-R [...]は、評判の高いドイツのc't雑誌(c't 16/2008、ページ116- 123)[...]最小耐久性18年、平均耐久性32〜127年(25°C、湿度50%)を達成しています。これらの値に近いディスクは他にありません。わずか5年の最小耐久性。」、linuxtech.net/tips+tricks/best_safe_long-term_data_storage.html
厄介な

1

私は「M-Disc」が特別なライターを必要とするDVDを作成したことを読みましたが、汎用DVDリーダーで読むことができます。推定可能な寿命は1000年であり、正確にテストすることはできないと主張しています。日光、傷、複数回の使用などに長時間さらされると、ディスクは100%使用可能です。このシステムに遭遇した人からのフィードバックに興味があります。

新しいラップトップ/ PCにM-Discドライブをインストールする可能性のあるDellからの抜粋です。

M-DISC Readyはレーザーエッチングデータを無機質の岩のような素材に駆動してデータの損失を防ぎ、ファイルが安全で最大1000年間保存できることを保証します。

有機色素を使用してデータを保持する他のすべての記録可能なDVDとは異なり、Mディスクは時間とともに色あせたり劣化したりしません。


より多くの情報を再投稿する代わりに、元の投稿を編集する必要があります。
カザーク

リンクなどで引用を引用できますか?また、>ブロック引用として書式設定するために使用できます。
カザーク

1

長寿命のバックアップを実現するには、さまざまなテクノロジー、場所、およびメディアを混在させる必要があります。

  • DVDへの書き込み-低速でのブルーレイ。低照度、低温、低湿度、傷のない場所に保管してください。
  • RAID 1、Raid5、Raid6、またはRaid10ユニットにコピーを保存します。
  • 別のコピーを外付けHDDに保管する
  • コピーをクラウドに保存する(カーボナイト、クラッシュプラン)
  • M-Discテクノロジー(MdiscsおよびMdiscバーナー)のコピーをAmazon.comで非常に手頃な価格で入手することはできません。メーカーは、1000年間データを保持できると述べています。

5つの箇条書きのうち3つは、磁気ハードドライブストレージという1つのテーマのバリエーションです。あなたの最後の点に関して、問題はメディアがデータを保持する期間ではなく(そして少なくともハードディスクメーカーは一般的に現実よりもはるかに良い数字を引用しています)、データを読むための機器がどれくらいの期間利用可能かについてですまたはそれらを作成する方法の知識が利用可能になります。推奨されるテクニックはすべてハイテクです。バイキングがブルーレイディスクにデータを保存したとします。そのデータを今どのように解釈するかを知っているオッズは何ですか?
CVn

@MichaelKjörling必要なすべての周辺機器を備えた追加のコンピューターを保管します。必要に応じてROMメモリを使用します。
QuyNguyen2013 14

1

誰かがすでに述べたように、M-Discと呼ばれる新しい技術があります。これらは非常に信頼性が高い:http : //www.zdnet.com/torture-testing-the-1000-year-dvd-7000023203/ 私たちは本番マシンのディスクのイメージを保護するためにそれらを使用し始めました。市場にはすでにブルーレイがあります。唯一の欠点は、従来のB-RDよりも遅いことです。


私はOPにも同様のニーズがあり、それについて読んだ後、このソリューションを試してみると思います、この技術を指摘してくれてありがとう!M-Discと互換性のあるDVDまたはBlu-rayライターを購入するだけで、LGはすでに多くの製品を生産しているため、非常にアクセスしやすく、低コストです!
貪欲な

1
実際、M-Discはふりをするほど信頼性が低いようです。最高のデータアーカイブサポートを見つけるための、フランス公文書館(フランスの公式データアーカイブ機関)による独立したフランスの研究で、 M-Discsは湿度と温度(加速老化)に実際に耐えないことがわかりました。ここに回答を詳細に投稿します。
貪欲な

0

この問題を解決する方法が必要な場合は、「デジタル保存」フィールドを調べる必要があります。

http://en.wikipedia.org/wiki/Digital_preservation

デジタル保存は、デジタル素材を生かしておく方法であり、技術の進歩により元のハードウェアとソフトウェアの仕様が陳腐化するので、それらを使用し続けることができます(wikipedia)

参照モデルもあります:OAIS http://en.wikipedia.org/wiki/Open_Archival_Information_System

それに対応するオープンソースと商用のソリューションがいくつかあります。図書館とアーカイブはこの技術を使用して、デジタル化された本を長期間保存します。


データを長期間保持することは、メディア自体がその間存続することと同じではありません。すでにいくつかの高い投票による回答で指摘されています。デジタル保存の主要な部分の1つは、メディアが古くなり時代遅れになるにつれてデータを移行することです。
CVn

マイケルありがとう。本当の目的を達成するための方法として、OAISのみを指しています。
AGM

これは、デジタルキュレーション戦略にとっては良い答えですが、実際にどのストレージメディアを使用すべきかについてはそうではありません。OAISモデルは非常に優れており、世界中のほとんどの国立図書館やアーカイブで実際に使用されていますが、個々の使用には不必要なメタデータが含まれているため、複雑すぎて理論的には少なすぎます。BagItのモデルのような簡単なツールところ、もう少し実用的でより使いやすいが、それでもかなり複雑であるPAR2またはpyFileFixityは十分かもしれません。
15年

0

あなたの答えは簡単です:

https://wiki.openstack.org/wiki/Cinder

Openstackは、ほぼ「不滅の」ストレージのシステムです。現在未知の将来のテクノロジーでも、障害ノードを新しいノードにアップグレードまたは交換できます。データはこのシステムで少なくとも2つ、最大5つの場所に同時に存在するため、完全なストレージノートが失敗する可能性があり、データはまだ存在しています。50 PB(検証済み)-110 PBまでスケールアップします。基本的に、ハードウェアにSWレイヤーを追加し、これによりストレージが無限に生き続けます。非常に大きなレイドセットの再構築時間の制限により、レイドセットの現在のサウンドバリアを克服します。コストは、従来のRAIDストレージシステムの約50%です。これをリファレンスアーキテクチャとして採用している富士通のシステムを知っています:CD10000


1
今、あなたはその会社にあなたの信仰を置く必要があります:
アインポクルム

-1

2014年の現在の技術を使用した実用的な長期データストレージ:

...そしてこれが私がやっていることです。

2つのマルチテラバイトドライブ、たとえば、それぞれ3テラバイトの2つのドライブを取得します。1つのTB-1と他のTB-2を呼び出します。すべてをTB-1にバックアップします。TB-1に1年バックアップした後、TB-2を再フォーマットし、TB-1をTB-2にコピーします。その後、翌年、すべてをTB-2にバックアップします。その年の後、TB-1を再フォーマットし、TB-2をTB-1にコピーして、半年ごとのサイクルを再び開始します。

再フォーマットにより、セクターマーカーの磁気強度が復元されます。そして、コピーはデータの磁気強度を復元します。

同じ原則をテープバックアップとCDバックアップ、または他のほとんどのバックアップに適用できます。しかし、CDは1年以内に悪化する可能性があるため、非常に不便であり、すべてをバックアップするには非常に多くのCDが必要です。そのため、5か月ごとにすべてのバックアップCDのコピーを作成するのは大変な作業です。これまでのところ、1テラバイトのドライブに一生保存できます。


2
CDは1年足らずで悪くなりますか?1歳以上のCDを所有していないと言っていますか?1年以上のデータCDとオーディオCDがありますが、それらは正常に機能します。
デイブ

1
1998年のCDがありますが、それでも正常に動作します。これが真実ではないことを知っているにもかかわらず、これが事実だとあなたに信じさせる理由は何ですか?情報を入手できますか?ありがとう。
マシューウィリアムズ

HDDのデータを書き換える必要はありません。電磁界を維持(または復元)するために電源を供給するだけです。長期保存用のデータの書き換えは、SD /コンパクトカードとSDDでのみ必要です。
15年
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.