20 TBを超えるデータをバックアップする方法

私が勤務している会社には、写真セッションの保存に使用されているNASサーバーがあります。各セッションは約100GBです。このサーバーは過去数年にわたって10 TBを超えるデータを蓄積しており、写真撮影の量を指数関数的に増やしています。来年末までに、このNASに20 TB以上のストレージが保存されると予測しています。現在、Symantec BackupExecでLTO-5テープを使用して、このサーバーをテープにバックアップしています。このサーバーのサイズが大きくなったため、このサーバーの完全バックアップは一晩で完了しません。この量のデータをバックアップする方法について誰か提案はありますか？テープにバックアップする必要がありますか？より良いかもしれない他のオプションはありますか？

一歩下がって、「NASに20TBあるのでバックアップする必要がある」と考えるのをやめる必要があります。データの性質を考慮したストレージ戦略を開発します。

• それはどこから来て、どのくらいの新しいデータを取得していますか？（質問にこれがあります）
• データを取得したらどのように使用されますか？人々は写真を編集していますか？オリジナルを保持し、編集されたバージョンを生成しますか？
• すべてのデータを保持するのにどれくらいの時間が必要ですか？人々はまだ2年前から写真に変更を加えていますか？

最後の2つの質問への回答に応じて、おそらく根本的に異なるバックアップシステムよりも多くのアーカイブシステムが必要になります。

静的なデータ（「念のため」に保持する2年前の写真など）は、毎晩バックアップする必要はありません。また、毎週、アーカイブする必要もありません。あなたが実際に行うことはより複雑かもしれませんが、概念的には、すべての古い写真をテープに書き込むことができ（複数のコピー！）、それ以上バックアップされません。

あなたのコメントに基づいて、いくつかの追加の考え：

• 各撮影のオリジナルをそのままにしてコピーを作成し、オリジナルの写真の少なくとも一部が不鮮明であると仮定すると、バックアップする必要があるデータの量を半分に削減できる場合があります。

• それでも時間内に完全バックアップを完了できない場合は、一般的な高速化方法として、まずディスクからディスクへのバックアップを行い、次にバックアップセットをテープにコピーします。

次の2つのオプションがあります。

オプション1：

1. 別のNASを購入する
2. ユーザーにROがnew_NASにアクセスできるようにします
3. 2年以上前のすべてのファイルをnew_NASに移動します
4. いつものようにold_NASをバックアップしてください
5. 6か月ごとに2年以上前のファイルをnew_NASに移動します

オプション2：

1. 別のNASを購入する

2. rsync1時間ごとに実行：old_NAS-> new_NAS

   または、rsync +を使用してファイルの変更でデルタを保持するrdiff-backupなどを使用することをお勧めします（古いバージョンのファイルを復元できます）

   rdiff-backup  user1@old_NAS::/source-dir    user2@new_NAS::/dest-dir
   

3. 6か月ごとに次のような古いファイルを削除します。

   rdiff-backup --remove-older-than 2Y    old_NAS::/dest-dir
   

バックアップを一晩で完了する必要があるのはなぜですか？ファイルサーバーのパフォーマンス？バックアップソフトウェアの帯域幅を制限して、日中の影響を制限できる場合があります。または、NASのインターフェイスを専用にしてテープドライブと通信し、他のトラフィックへの影響を制限します。

週末にフルダンプを実行し、その週に増分のみを実行できますか？週末に誰もいないときにテープを交換することが問題である場合、安価なテープライブラリ/オートチェンジャは、誰かにテープを交換するよりもはるかに安くなります。

バックアップウィンドウ内で完了するのに十分なほど小さい複数のグループにデータをセグメント化できますか？

NASには約50 TBのデータがあり、2つのテープドライブを使用して全体の完全なダンプを取得するのに1週間以上かかります（1つのボリュームには多くの小さなファイルが含まれているため、1週間ほどかかります）。私たちが行うことは、データを2番目のNASに複製することです。セカンダリNASはオンサイトにありますが（プライマリとは異なるデータセンターにあるため）、オフサイトバックアップのためにデータをテープにスプールします。そのセカンダリNASからバックアップを実行するので、バックアップによってだれもが遅くなることはありません。

セカンダリNASを十分に離れた場所に配置できる場合、それはバックアップであり、テープは不要です。

私は各撮影セッションのサイズについて疑問に思っています、それは本当に100GB /セッションですか？あなたの会社は毎月何回セッションをしますか？

頻繁に使用されないなど、ほとんどの場合古いセッションを保存しており、おそらく頻繁にその情報を回復する必要はないので、そのタスクを処理するために、ある会社のサービスを使用することをお勧めします。

たとえば、Amazon Glacierのようなオンラインサービスを使用してこれらの20 TBを保存すると、1か月あたり200ドル以上のコストがかかります。これらのアーカイブを頻繁に取得する必要がある場合、または完全にリカバリする必要がある場合は、時間/コストの制約に直面します。「確実に保存する」ためにそれらのものを保存するだけなら、おそらくサードパートを使用すると、人生が楽になります（さらに、別のNASやテープなどを購入するよりも安くなります）

full backups of this server are not completing overnight
次に、増分バックアップを試してみますか？xx日ごとに1つの完全バックアップ、残りは増分。

ハードディスクは安価で、テープよりも高速で、バックアップに使用できます。

また、クラウドバックアップに代わる優れた選択肢があるため、より高速なテープを追加し続ける必要はありません。
例えば：

• Red-Gate Cloudサービス
• Amazonバックアップストレージ
• Amazon Glacierのサポート（安価な長期保存）

これに対する最善の解決策は、給与データを使用して行うことであると考えています。

• 最初は、毎日バックアップされる残りのサーバーデータと共に保持されます。これらのバックアップの保存期間は13か月です。

• データを変更する必要がなくなると（2支払い期間後、IIRC）、データは（スクリプトを介して）通常のバックアップから除外されたアーカイブボリュームに保存されます。

• アーカイブボリュームは毎年テープにバックアップされ、テープは無期限の保存のためにCintasに送られます。

これにより、不変のデータへの簡単なオンラインアクセスが可能になります（したがって、会計士が何かを見たいときにテープを呼び出す必要はありません）。 、バックアップシステムを壊すことなく。同じ種類のセットアップのように聞こえますが、タイムリーにこのデータにアクセスする必要に応じて、オンラインに保持するデータの量を調整したい場合があります-20TBのエンタープライズグレードのストレージははるかに高価ですオフサイトの格納域に保存する2つまたは3つのLTO5テープセットにアーカイブするよりも。

たぶん、あなたはあなた自身のBackblaze Podを構築することができます：135Tb for 7384 $
詳細についてはここをクリックしてください：Backblaze Pod構築情報

必要な部品を購入して、自分で組み立てることができます。

たぶん、それらを3つ構築し、2つのオンサイトと1つのオフサイトを維持できます。次に、1つのポッドを「オンラインデータ」として使用し、2番目のオンサイトポッドを最初のポッドのバックアップとして使用し、3番目のオフサイトポッドを緊急オフサイトバックアップとして使用できます。

各ポッドに135Tbのストレージを使用すると、変更の履歴を保存することも考えられます...
135Tb / 20Tb = 19完全バックアップコピー。
または、10個の完全バックアップと、とんでもない量の差分バックアップを保持できます。

当然、オフサイトのバックアップが必要な場合は、何らかの大きな帯域幅が必要になります... :-)

同僚がSynology 8ディスクNASを購入しました。ハイブリッドRAIDを実行します。彼は数週間前に89ドルで8個の3TB Seagate BarracudaをNewEggから購入しました。運用NASからGigaBit経由でこの新しいNASにミラーを再同期できます。差分を転送するだけなので、転送にかかる時間は短くなります。その後、バックアップNASを使用して、完全または増分を実行できます。あなたの費用は、バックアップNASの出先で2000ドル未満になります。