ビデオおよび画像データの費用対効果の高い長期アーカイブ?〜50 TB


16

私の研究室では、私たちのグループが現在取り組んでいるプロジェクトのデータ(主にビデオと画像データ、およびいくつかのドキュメント)を保持する小さなサーバーをセットアップしています。歴史的に、研究プロジェクトが終了した後、データは無計画に1つのハードドライブ、または大量のDVD(または昔のCD)にアーカイブされ、および/またはビデオの一部はSony DVカセットまたはさらにはVHSテープ(このラボは90年代前半から活動しています)、または上記のすべての混合物...

質問:(1)それらをすべて同じ形式と記憶媒体に統合し、(2)非常にまれなアクセス(たとえば30年以上)のためにそのようなデータを長期間アーカイブするのに最適な媒体は何ですか?残念ながら、企業レベルの予算はありません(私たちはたった10人の研究室にすぎません)。

ありがとう!

PS古いビデオと画像の解像度が低いことを考えると、最近のものは非常に大きいので、本当に古いデータ用に30〜40 TB、最近のデータ用に別の10〜20 TB、そして毎年約5 TBの追加について話していると思います。

回答:


22

残念ながら、あなたにとって最善の方法はありません。デジタルメディアの30年間のアーカイブは非常に難しい問題であり、日常的な投資が必要です。30年以内に読み込めることが保証されている形式は、ビデオ形式ではないASCIIとUTF8のみです。ストレージ形式が変わり、30年前に使用していた8トラックリールツーリールテープは、データがまだテープ上にあるにも関わらず、最近読むことはほとんど不可能です(NASAが40年前のテープドライブを再構築するという興味深い話があります新しく回復/検出されたApolloデータテープを取得するため)。5年ごとに定期的に、古いフォーマットを新しいフォーマットに変換するのに十分な予算でアーカイブ環境を評価することをお勧めします。

あなたはおそらく私よりもよく知っていますが、ビデオの世界は急速に変化しています。リアルタイムのオンライン編集が可能になり、10年前でも非常に優れたキットでしか実行できませんでした。誰が物事がそれから30年に見えるかを知っています。

  • アーカイブウィンドウを5年間設定します。
    • 短期的には、大きなストレージアレイで十分です(
      • 大きくて遅い50TBのディスクは、$ 70K未満、場合によってはそれ以下で使用できます。
      • LTO5テープドライブと50本のテープ(50TBをはるかに上回る)は、15,000ドル未満で入手できます。
  • ビデオを保存する形式はあなた次第です。
  • 古いものをすべて見つけて、この新しいストレージに変換してください。
  • 5年の終わりに、アーカイブ環境の完全な評価をもう一度行います。
    • どのフォーマットを使用していますか?
    • 新しいフォーマットとは何ですか?
    • どのコーデックが行き止まりのように見えますか?また、そのようにエンコードされたメディアを保存していますか?
    • 新しいストレージ方式(データ形式、ディスク/テープ/その他)への移行方法を決定し、適切に使用します。
  • 6回繰り返します。

それで30年になります。


+1、本当に安くしようとしているなら、おそらく10年ごとにこれをやることができます。ATA-66および100ドライブは10年前に好まれたHDでしたが、それらに接続するための技術がまだ残っています。しかし、IDEヘッダーを欠いているコンピューターが既に存在し、10年前のテクノロジーが曖昧になっています。
クリスS

6
コピーの良い点については+1ですが、フォーマットが読めなくなることを主張する場合は-1です。コピー可能なメディアでデータが利用可能になると、それらのファイルは非常に奇妙な形式でない限り再生できなくなる可能性は低くなります。MPEG2のような非常に主流なものへのアーカイブは、耐久性のあるフォーマットである可能性が非常に高いです。非可逆ビデオのトランスコーディングは非可逆プロセスです。してはいけません。主流のビデオコーデックを維持するために多くの費用はかかりません...
ポールマクミラン

@ポールヒントをありがとう。私がビデオの人々と定期的にぶらぶらしているのは7年前のことなので、さびています。
sysadmin1138

詳細な評価とヒントをありがとうございます!残念ながら限られたIT予算で最善を尽くします。みなさん、serverfault.comがお手伝いします。
hpy

ええ、私たちは道を歩んできました。それでも、Windows 3.1日から17年前のAVIファイルを再生しても問題はありません。トリックは、すでに広く使用されている形式を選択することにあります。
ポールマクミラン

11

sysadmin1138の投稿には、あらゆる点で1つ注意が必要です。あなたが望むものを実際に達成するための予算があるとは思いません。

作成する必要がある5つの主要な機能があります。

  • 標準化されたコンテンツとカタログのポリシー-すべてを1つの形式で保存したいのですが、画像用のPDFとビデオ用のH.264の2つを検討する必要があります。どちらも、ほぼサポートされるマルチプラットフォームコードの長期サポート形式です確かに世界中の既存の使用法のために、現在の形で25〜50年間、いずれかの当事者によってサポートされています。
  • コンテンツのインデックス作成と公開を行うカタログまたはCMS。
  • 「コンテンツインジェスト」システム-これは、すべてのメディア、パッケージ、エンコード、保存、および新しいコンテンツごとにカタログを更新します。手動または自動のコンテンツ品質チェックも実施する必要があります。
  • プライマリコンテンツストア-これには2つのメインストレージブロックがあります。トランスコード/チェック中に元のコンテンツを保持するための小さな1つと、コンテンツを「近くに」保持するための非常に大きなブロック。これは、私が遭遇したRAID 6の唯一の有効な用途の1つですが、ここでは24時間365日の「デューティサイクル」を備えたエンタープライズ品質のディスクを使用しようとしています。
  • 長期バックアップシステム-本当のお金を使う場所です。真に長期のバックアップ機能を提供するベンダーを選択する必要があります。私が今これをやっていたとしても、データ寿命の理由だけで、おそらくこの分野で多くの経験を積んでいるIBMによって、テープオーバーディスクを使用します。また、定期的なテープの復元とデータの検証も行う必要があることを考慮する必要があります。つまり、少なくとも所有する最大のテープと同じ大きさの3番目のストレージブロックが必要になります。それに加えて、使用するバックアップソフトウェアも長期間使用できるようにする必要があります。* nixのTARのようなものはしばらく使用される可能性がありますが、機能的には必要なものが提供されない場合がありますこれがテープベンダーによって見過ごされないようにしてください。

だからあなたがやりたいことはできる、私は過去20年かそこらで何度も自分でやったことがある-しかし、私は怖いです。

幸運を。


画像用のPDFは、それを行うのに非常に恐ろしい方法のようです。はい、ドキュメントには絶対にPDFを使用しますが、出力形式に応じて画像をTIFFまたはJPEGとして保持します。それらを読み取る機能がなくなることはほとんどありません。
ポールマクミラン

ヒントをありがとう!受け入れられた2つの回答にフラグを立てることができれば、これを行います。:)
hpy

1
それは大丈夫ペンユエン、1138年であり、芽です;)
Chopper3 '11年

2
正直なところ、あらゆる種類のCMSシステムの難しさは、システムの最初で最も時代遅れの部分になる可能性が高いことです。ほとんどすべての人に、いくつかの基本的な説明を含むASCIIテキストファイルを作成し、それを生データとともに保存するように要求したほうがよいでしょう。CMSまたは自動化されたシステムは、数年の規模で老朽化します。
ポールマクミラン

3

他の人はあなたのメディアをバックアップする方法について良いアドバイスをくれました。議会のガイドラインのライブラリを見て、質の高い時間を過ごすことをお勧めします。

http://www.digitalpreservation.gov/formats/index.shtml

また、安価なホワイトボックスZFSアレイの構築を検討することもできます。おそらく、1万ドル未満のニーズに合わせて何かを行うことができます。ドライブが故障したら、より大きなドライブと交換します。そのため、データを生成するにつれてストレージ容量が増加します。それはおそらくあなたがかなり長い間続けて行くだろうし、古くなったらより大容量のデバイスと交換することができます。利点は、データがオンラインであり(必要に応じてアクセスできる)、ビットロットから比較的十分に保護されていることです。

適切なビルドオプションがここにまとめられました。

http://www.zfsbuild.com/


2

技術者にとっては難しいので、ディスクと技術についての考えをすぐに止めることをお勧めします。ビジネス上の問題を、決断を下さなければならないものに分解します。

例:

  • アナログ/その他のデジタルテープ形式を、ある種のデジタルストレージに保存できるデジタルメディアに変換する方法を教えてください。
  • コンテンツと関連するメタデータをどのように管理しますか?保管は簡単です-すべてをLTOテープに入れて古い塩鉱山に保管できますが、データにアクセスすることはできません。
  • あなたは車輪を再発明していますか?あなたが大学にいる場合、コンテンツ管理のためのソリューションはすでに一元的に利用可能ですか?または、独自のコンテンツ管理を購入/構築する必要がある場合、一元的に購入できる集中インフラストラクチャはありますか?(テープ、オブジェクトストレージ、SAN)
  • 実際のビジネス要件は何ですか?何を本当に保持したいのですか?その理由は何ですか?多くの場合、問題の核心を深く掘り下げると、実際の長期保存要件は実際にはデータの小さなサブセットにのみ適用されます。

1

データを非可逆形式で保存してから、別の非可逆形式に変換してから、別の非可逆形式に変換すると、遷移ごとにビデオ品質が低下することに注意してください。

以下は音声についてですが、一般的に同じことが当てはまります:

任意のオーディオ形式をOgg Vorbisに変換できます。ただし、MP3などの損失の多い形式からVorbisなどの損失のある別の形式に変換することは、一般的に悪い考えです。MP3エンコーダーとVorbisエンコーダーはどちらも、おそらく聞こえないオーディオ波形の部分を捨てることにより、高い圧縮率を実現します。ただし、MP3コーデックとVorbisコーデックは非常に異なるため、オーディオのさまざまな部分を破棄しますが、重複は確かにあります。MP3をVorbisに変換するには、MP3ファイルをWAVなどの非圧縮形式にデコードし、Ogg Vorbisエンコーダーを使用して再圧縮する必要があります。デコードされたMP3には、MP3エンコーダーが破棄することを選択した元のオーディオの部分がありません。Ogg Vorbisエンコーダーは、データを圧縮するときに他のオーディオコンポーネントを破棄します。せいぜい、結果は元のMP3と同じように聞こえるOggファイルになりますが、結果のファイルは元のMP3よりも悪く聞こえる可能性が高いです。いかなる場合でも、元のMP3よりも優れた音質のファイルは得られません。

多くの音楽プレーヤーはMP3ファイルとOggファイルの両方を再生できるため、すべてのファイルをいずれかの形式に切り替える必要がある理由はありません。Ogg Vorbisが気に入ったら、オリジナルのロスレスオーディオソース(CDなど)からエンコードするときに使用することをお勧めします。オリジナルからエンコードする場合、MP3よりも小さいまたは高品質(または両方)のOggファイルを作成できることがわかります。

(絶対にMP3からOggに変換する必要がある場合は、Freshmeatで使用可能な変換スクリプトがいくつかあります。)

http://www.vorbis.com/faq/#transcode

そのため、損失のない形式を選択するのがおそらく最善です。損失のある形式を1つ選択すると、その形式にとどまるからです。


3
ロスレスビデオの保存は現在のところ実用的ではありません。映像の1分あたりのギグをアーカイブするには、単に高すぎます。広く使用されている、今満足している損失の多いコーデックを選択し、メディアをその中に残します。
ポールマクミラン

ロスレスネスについての良い点をありがとう、私たちはこれについて間違いなく一生懸命に考えます。
hpy

1

おそらく私が見逃しているものがあり、コーデックのソースコードが利用できるオープンフォーマットを使用してすべてをエンコードし、それをすべてAmazon S3に貼り付けることはできませんか?

そうすれば、Amazonはデータの実際のストレージについて心配する必要があり、30年後にC / C ++をコンパイルできるコンピューターがなければ、情報を入手することができます...

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.