10テラバイトのデータを保存する最も安全で安価な方法は何ですか?


19

私は制作会社のメンバーで、最初の長編映画の準備をしています。元のコンテンツをすべて(可能な限り)安全に保つためのデータストレージの方法について議論してきました。データが100%安全であるとは限りませんが、最も安全なソリューションを見つけたいと考えています。

私たちは、考えられてきました:

  • オンサイトストレージ用のNAS 16TB

  • 4〜5個の2TBハードドライブ(安価、ただし冗長ではない)、元の映像をドライブにコピーしてから、静電気のない袋に入れて密封する

  • データをBlu-Rayディスクに書き込みます(時間がかかり、高価です:200ディスク== 5000ドル)

  • テープ・ドライブ(S)?

テープドライブについては、ディスクよりも信頼性が高いという事実を除いて、私はほとんど知りません。この量のデータに関する経験/知識は大歓迎です。


1
彼らに超強力な磁石でつり下げようとしないように言うことを忘れないでください。フロッピードライブには悪い、ハードドライブには本当に悪い
...-Hello71

2
これが答えではありませんが、多分それはあなたのために興味深いものです:blog.backblaze.com/2009/09/01/...
ボビー

DiamonDisc DVDのtomsguide.com/us/ を使用してはどう でしょうか。
モアブ

回答:


14

これは、アーカイブではなく、定期的なバックアップやライブデータのために行っている前提としています。

SATAハードドライブ(1または2 TB)のセットに加え、いくつかのエキストラのために行きます。ディスクにデータをコピーします。使用QuickPar(またはパリティボリュームをサポートアーカイバ)は、追加のパリティ・ファイルを作成します。お使いのハードディスクの中のパリティファイルを配布します。

パリティ情報により、十分なパリティファイルが残っている場合にファイルを再構築できます。そのため、1つのディスクが死んでもパリティ情報を持つ他のディスクが機能する場合、パリティファイルを使用して元のディスクを再構築できます。

冗長性を高めるには、すべてを2回実行し、別々の場所に保存します。

あなたが本当に妄想している場合は、各サイトでもSATAコントローラにPCIとPCI Expressを保管してください!

編集:パラノイアが、それはすべてについて何であればヘック、全体の豚を移動して、ディスクを読み取ることができる各サイトでギガビットイーサネットを搭載したPCを保存!


10
+1新しい症候群を効果的に定義し、作り出したと思います:dataparanoidism。; P
jrista

間違いなく、2倍のハードドライブを購入し、冗長性のためにすべてのデータを2回コピーすることに感謝します!
ジョシュT

「本当に妄想的」な面では、USB SATAアダプタは、遅いとはいえ、マザーボードテクノロジ固有のコネクタ(PCI、PCI-Eなど)よりもずっと先に使用できると思います。
マットウィルキー

9

私たちが使用するLTO4ドライブは、テープごとに800GBを詰め込むことができます。欠点は、ドライブ自体のコストです。Blu-Rayディスクを5Kドルに抑えたとしても、LTO4のコストは気に入らないでしょう。一方、カート自体はGB単位でかなり安いため、多くのコピーを保持できます。これらのテープの有効期間は良好ですが、テープドライブを交換するときに新しいメディアに移動する計画を立てる必要があります。このストレージをどのように使用するかを説明する方法から、テープが適しているとは思いません。これがアーカイブソリューションではなくバックアップソリューションになる場合を除きます。さまざまな問題。

毎日のネット変更が十分に小さい場合、このために何らかのクラウドベースのバックアップベンダーを検討することをお勧めします。もちろん、これはあなたのインターネット接続がどれだけ強力であるかに依存し、そこから復元することも同様に苦痛かもしれません。これらのサービスはかなり新しいため、データの破産問題をどのように処理するかは不明です。彼らが倒産した場合、それはどうなりますか?

ローカルディスクストレージは間違いなく行く方法です。簡単に交換できるドライブを備えたドライブエンクロージャは、おそらくコストの制約を考慮すると最善の策です。そのデータをオフラインで使用できる場合は、それを選択してください。ディスクは安価であり、ディスクエンクロージャはテープドライブよりも安価です。少数の可動部品。


ビデオの役割での積極的な使用ではなく、アーカイブにこれが必要だと思います。もしそうなら、それは別のストレージの問題です。


LTO5は現在1.5TOです。圧縮されているかどうかは不明ですが、確かに1.5です!
r0ca

2
このルートに行くことを強くお勧めします。コストは1回限り(5,500ドル程度)少し高くなりますが、長期にわたって使用している場合、そのコストの90%はドライブにかかります。テープはそれぞれ100ドルで、時間とともにコストが下がる可能性があります。さらに、損傷によるリスクをほとんど伴わずに輸送することができ、安全な預け入れボックスなどに保管することもできます。また、1.5T非圧縮、2Tで3T圧縮されています。
-Slartibartfast

1
FWIW、LTO4は現在、約$ 40 /個CAD / USDで稼働しています。LTO5は1枚あたり120ドル以下で実行されます(出典:CDW)
Chealion

はい。ただし、テープドライブ自体は数千台で実行されます。NewEggで3700ドルで見かけます。
SysAdmin1138


2

あなたはホスティングサービスを検討していますか?価格がどのように重くなるかはわかりませんが、大容量ストレージを販売するホスティングサービスを検討することをお勧めします。たぶんAWS


2
いくつかの数字を提供するだけで、Amazon S3の 10TB は1 か月あたり1500ドルです。冗長性の削減と呼ばれる1000ドル/月の「値」オプションもあります。
hyperslug

ああ、知っておくとよい-データに感謝を。
nicorellius

しかし、(10TB $ 70 /月の)S3ストレージよりもはるかに安上がりであるアマゾン氷河もあります。検索は、しかし、時間がかかり、あなたは多くのことを行う必要がある場合に高価です。
クリス

2

10 2TBハードドライブ8台。2セット作ります。すでに述べたように、別々に保管してください...

それははるかに敏感、それはディスクよりに保存されている条件にだと私はテープから離れて滞在します。また、5年後、SATAドライブを何かに接続することはできますが、テープを読み取ることができるテープドライブにアクセスできない場合があります。

光学系は長期的な安定性の点で最高ですが、おっしゃるように、コストとロジスティックスにより、実用的ではありません。


2

頻繁に使用しているライブファイルには、何らかのNAS / RAIDを使用することをお勧めします。大容量ドライブを使用する場合は、RAID-5またはホットスペアのようなRAID-6などを使用して、RAIDが劣化する前に2台のディスクに障害を起こすことができますが、ホットスペア構成とは異なります2番目の追加ドライブにもパリティが設定されるため、RAIDが故障してもスペアにパリティを再構築する必要はありません。ドライブが大きくなると、再構築中にドライブが故障する可能性が高くなります。そのため、可能な限り多くのライブパリティを保持することをお勧めします。

これに加えて、私は、テープドライブなどのハードディスクを使用することをお勧めします。1でも購入することができ、これらの日のハードドライブケースを(また、これらのあなたはアーカイブのためのドライブを離れて提出することができます)。あなたは、RAIDにファイルをダンプしてから離れて提出するドライブに余分なアーカイブコピーを作成することができます。

以下のようないくつかのビデオ制作会社ピクセル隊は同様のセットアップを使用しています。

また、私は非常に複数の場所(ない同じ屋根の下)にファイルを保存することをお勧めします。また、間違いなく「それは、少なくとも2つの場所で書かれていない場合、あなたはまだそれを保存していない」のマントラに従ってください。また、RAIDはないではない、それ自体のバックアップとしてカウントされます。


2

これは主にオフラインバックアップタイプのストレージ用であると想定します。簡単に作成および復元できますが、日常の操作ではあまり使用されません。

最近では2 TBのドライブを約140ドルで購入できます。したがって、10TB、5ドライブ、700ドル。DebianまたはUbuntuまたはその他のLinuxフレーバーを実行しているサーバーの周りに準低電力サーバーを構築するために約400ドルを計算します。複数のNICを備えたシステムを取得する場合、ボンディングできます一緒にネットワークインターフェイスは、サーバが持っている利用可能な帯域幅を増加させ、およびNIC障害から保護する(潜在的に、私はあなたがトランキングサポートは、その管理対象スイッチが必要と考えています)。その後、Samba、NFS、またはその他の方法を使用して、ストレージを使用する必要があるワークステーションにストレージを公開できます。そのようにする場合(ない場合)これらのドライブに刺され、それの一つ、この大規模なAデータボリュームの場合、あなたはおそらく、冗長性のいくつかの並べ替えをお勧めします、あなたはあなたのデータがないことが文句を言いません。RAID5は、いくつかの理由でここでは良いアイデアではありませんが、RAID10はその法案に適合します。サーバーはLinuxを実行しているため、mdadmを使用してRAIDアレイを管理できます。これを行うには物理デバイスの数を2倍にする必要があるため、最大10台のドライブになります。このストレージサーバーの合計コスト:

あなたがいる場合、実際にあなたのデータを、愛(これは本当に重要な生産データがある場合、あなたは!はずです)、あなたは、重複サーバー、およびバックアップのバックアップを構築することができます。これは、rsync crontab(恐ろしく遅いかもしれません)、netcat / tarパイプソリューション(確実に高速になる)、またはradデバイスをdrbdデバイスのベースとしてセットアップすることで実行できます。ストレージが自動的に両方のマシン間で複製を使用すると、(基本的に)データの冗長バックアップを持つことが保証されてきました。あなたも、手の込んだ取得して設定することができ心拍データボリュームの保証の可用性にフェールオーバーシステムを。


rsyncの!=バックアップ。破損したファイルを簡単に同期できるため、注意してください。つまり、シンボリックリンクなどを備えたより高度なシステムを使用して履歴アーカイブを自動的に作成する場合を除きます(変更されたファイルは古いバージョンに残され、シンボリックリンクだけではないファイル)。
ケビンブロック

2

Buffalo TeraStation III 8TBネットワーク接続ストレージ-£1,085.56

amazon.co.ukリンク

私は4tbにアップグレードした修正1tbバージョンを手に入れました。これはRAID5で問題なく動作します。小さなバージョンを購入して自分でアップグレードしてお金を節約したり、複数の修正を購入したりすることもできます。


1

テープドライブについても、テープにデータを保存するセマンティクスについてもあまり知らないので、ここでお手伝いすることはできません。大規模なバックアップとしてblurayを使用することの法外なコストを考えると、NASまたは個々のドライブに固執します。

NAS / Raidで注意すべきことの1つは、単一の仮想ドライブにかなりの量の情報を保存できる一方で、すべてのドライブをまとめて保管する必要があることです。RAIDは一般的に長期的ではありません。バックアップ」ソリューション。複数のドライブが失われ、NASデバイス自体が失われる可能性があります(「同一の」デバイスであっても、交換デバイスがドライブからデータを読み取れるという保証はほとんどありません)。

安価なハードドライブは、これらの日であり、その一般的な安定性どのように根本的に考えると、私は、個々のドライブを選ぶでしょう。あなたは簡単に小さなコスト(おそらく1200 $ - $ 1500)のために10台の2TBのドライブをつかむことができ、およびバックアップの2セットを生成します。あなたは、RAIDやNASデバイスに伴うリスクなしで、オフラインおよびデータの冗長バックアップの両方を取得します。SATAは、いつでもどこでもすぐに行くことはほとんどありませんように、個々のドライブも、互換性のより大きな範囲を提供しています。


1

本当に失わないようにしたい場合は、少なくとも2つのアーカイブオプションが必要です。おそらくテープとハードドライブ。何らかの冗長性を持たない1つのコピーのみを作成することは、データサイコロを転がす別の方法です。


1

ストレージのニーズに応じて、個々のワークステーションのバックアップを検討している場合は、リムーバブルSATAドライブ用のThermaltake BlacX外部ストレージドックをご覧ください。外部USB接続とSATA接続の両方をサポートします。ドライブをドックにドロップし、データをコピーするだけでバックアップができます。

自宅と職場にドックがあります。各場所でバックアップを作成し、それらを別の場所に持ち込んでオフサイトストレージにしています。また、ロケーション間で進行中の作業を移動するためのスクラッチドライブもあります。

ドックはそれぞれ約60.00ドルで、100ドル未満で1.5 TBのドライブを入手できます。


1

ジョシュ、これが作業データなのかアーカイブデータなのかは明らかにしていません。データが貴重である場合、バックアップとアーカイブの間に実際の違いはありません。つまり、作業システムまたはアーカイブシステム上の保存場所のみです。繰り返しますが、データが価値がある場合、データを保護し、バックアップのルールを遵守する場合、作業システムとアーカイブシステムは同一になります。

より多くのアーカイブは、それに保存されているものよりもメディアの種類に適用されます。アーカイブは、データが決して変更されないことを意味します。つまり、通常はWORMと呼ばれる、1回書き込み、何度も読み取ります。通常、WORMドライブはテープですが、RDX QuikstorやRDX Quikstation(8ベイRDXステーション)などには、特定のドライブ用のWORMオプションがあるため、上書きできません。私は、RDX Quikstationがあなたのアーカイブに合っていると思われます。

アーカイブシステムは、バックアップ計画の一部であることを忘れないでください。あなたは、任意のデータのコピーを1つだけを検討することはありません。

バックアップのいくつかのルールは以下のとおりです。

3-2-1ルール。

あなたのデータの3つの(3)のコピー。2つの異なるメディア上の1つのソースと2つのバックアップ。そのうちの1つはオフサイトで保持されます。

例:オンサイトサーバーはオンサイトNASにバックアップされ、オフサイトはテープまたはRDXにバックアップされました。オンサイトのサーバーは、オンサイトNASにバックアップ、およびNASオフサイトバックアップ。オンサイトサーバーがオンサイトNASにバックアップされ、リアルタイムでオフサイトNASに複製されました。オンサイトバックアップはディスクである必要があります。

メディア:

オフサイトバックアップは時間に依存します。ポータブルメディアにオフサイトのバックアップを自動的に時間遅延を導入しています。つまり、月曜日の晩のバックアップは火曜日の夜オフサイト撮影します。あなたがビジネスの近く火曜日の前に災害を持っている場合は、2日間の価値を失います。どのくらいのあなたのビジネスやデータの変更の頻度に完全に依存失うことができます。

メディアストレージ:

完全にメディアストレージのための規則を遵守してください。一部のテープでは、磁場の発生源から十分に離れた狭い温度と湿度の範囲で垂直に保管する必要があります。テープを削除すると、その信頼性が低下します。オフィスの女の子をハンドバッグに入れたまま自宅のテープを自宅に送ると、彼女の携帯電話は災害を待っています。テープは、ドライブに挿入する前にバックアップ環境で最大2時間必要です。テープとテープドライブの温度と湿度を等しくします。テープは、必要な時間/書き込み間隔で破棄および交換する必要もあります。

個人的に、これらの理由から、私はテープが好きではありません。コストは小さくはありませんし、誰かにそれを管理させるコストでもありません。テープに投資するが、ルールに従わないことは無意味です。あなたは安いが、信頼性滴でそれを行うことができます。

単一障害点を排除します。

バックアップデータを複数のメディアに分散しないでください。たとえば、1つのテープのフルバックアップと6つの他のテープの差分により、データ損失のリスクが7倍になりました。バックアップがある場合、データを復元するために必要なすべてのファイルが含まれているのが好きです。7回の完全バックアップを作成することをお勧めします。

ある意味、レイドは複数のメディアとしてカウントされます。RAIDを使用する場合は常に、ホットスワップ自動フェールオーバーがあることを確認してください。ドライブベイに少なくとも1つのスペアドライブを専用のホットスワップスペアとして用意すると、システムはデッドドライブをホットスワップスペアと自動的に交換します。テラバイトのデータがある場合は、RAIDに2つ以上のホットスワップスペアを用意することを検討してください。

オフサイト距離の観察:

オフサイトの距離は重要です。状況によってはデータの損失を防ぐだけであれば、オフサイトバックアップを行う意味はほとんどありません。地震、洪水、竜巻、ハリケーンなどを経験したことがある人なら誰でもそれを伝えるでしょう。私たちの都市の最近の地震では、多くの大企業が、オフサイトバックアップ(テープはまだサーバーの隣にあります)や読み取り不能なバックアップを使用せずに足を踏み入れています。通常、60マイル/ 90 kmが適切な距離です。

私はあなたの予算がわからないので、アドバイスをするのは難しいです。予算は、バックアップとストレージの選択に影響します。ITサポートを提供する映画プロデューサーで働いていたので、あなたの業界の動いている部分についてある程度理解しています。未回答の質問がたくさんあります。

もしあれば、どのサーバーがありますか?スタッフは何人いますか?これはあなただけの長編映画ですか?最大のファイルまたはファイルセットはどのサイズですか?この映画と次の映画の間の時間は何ですか?たとえば、フルタイムで制作している場合、ファイバーを介したリモートバックアップなどの毎月の費用をカバーするキャッシュフローがあります。映画はどのようなキャッシュフローを生み出しますか?今後どのような要件がありますか?これらおよびその他の質問により、要件、方法論、および予算が設定されます。

たとえば、年に3本の長編映画を制作し、毎月12人のスタッフを雇うコマーシャルを制作している場合、次のことをする余裕があります。60m / 90k離れたデータセンターに複製された100mbitの競合しない(ISPによって調整されていない)リンクを持つ専用のファイバーリンク(それほど高価ではない)。重要なアーカイブデータは、テープまたはRDXに書き込み、データセンターまたはテープボールトに保存する必要があります。予算は、余裕のある冗長性とバックアップの程度に関する唯一の決定要因です。

または、予算が少なく、収入が販売によるものであり、将来が不明な場合は、自宅に保管されているTAPE、RDX、またはUSBドライブ(非推奨)を検討している可能性があります。

現在および将来の要件、キャッシュフロー、予算は、データの損失と比較して決定的な要因です。経験豊富なバックアップスペシャリストやビジネスアナリストを雇用して、ストレージとバックアップのプロセスを完了することをお勧めします。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.