TBのデータ(イメージファイル)が含まれるディレクトリを複製、コピー、またはバックアップする最速の方法


0

こんにちは、あるディスクから別のディスクにファイル(画像の形式でTBのデータが存在する)をコピーするための非常に効率的で高性能なオプションを提案できますか。

私はcp、rsyncなどのオプションを見ましたが、そのようなシナリオを確実に試してテストした人たちからセカンドオピニオンをもらいたいです。

また、以下の要件もあります。

  1. プライマリディスク->キャプチャ後にファイルが保存される場所
  2. rsyncを使用してプライマリディスクからバックアップするセカンダリディスク。
  3. セカンダリディスクをバックアップし、プライマリから不要なファイルを削除して、セカンダリディスクとサードディスクが再び同期するようにするサードディスク

注:1.イメージファイルも他のプロセスによって並行して読み取られるため、サーバーの使用率も考慮してください。2.セカンダリディスクからサードディスクにバックアップしようとしています。3ステップのアドバイスが必要

回答:


0

残念ながら、ディスクのコピーは遅いです。これを回避する安価な方法はありません。

ディスク上のすべてのデータを継続的にコピーする必要がないため、RSYNCを使用するのが良い方法のようです。タイムスタンプとファイルサイズに依存できると仮定して、rsyncがチェックサムに基づいてスキップしていないことを確認したい場合があります(つまり、-cまたは--checksumフラグなし)。ファイルの内容が変更された場合(これはほとんどありません)、「-inplace --no-whole-file」を実行して、変更されたビットのみをコピーすることにより、大幅な高速化を実現できます。

もちろん、ブロックレベルで検討する価値のある他の戦略があります。ZFS(またはDRBDまたはGlusterまたはMooseFS)に変更し、ブロックレベルでデータをレプリケートすると、実行している変更の種類、トラフィックのバースト性などに応じて、より効率的になります。


アプローチをありがとう。あなたが共有している他のオプションを探ってみます。さらに、ファイルは変更されません。それらは削除できますが、変更することはできません。だからあなたは私に何を提案しますか。
ナガラジャンSR
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.