巨大なスパースファイル（VMディスクイメージ）をマシン間でどのように同期しますか？

あるLinuxサーバーから別のLinuxサーバーに巨大でスパースなファイルを同期できるrsyncなどのコマンドはありますか？

宛先ファイルがまばらであることは非常に重要です。それを含むドライブよりも長い（ただし大きくはない）場合があります。変更されたブロックのみをネットワーク経由で送信する必要があります。

私はrsyncを試しましたが、喜びはありませんでした。https://groups.google.com/forum/#!topic/mailing.unix.rsync/lPOScZgFE9M

これを行うプログラムを作成する場合、ホイールを再発明するだけですか？ http://www.finalcog.com/synchronise-block-devices

おかげで、

クリス。

rsync --ignore-existing --sparse ...

スパースモードで新しいファイルを作成するには

に続く

rsync --inplace ...

すべての既存のファイル（以前に作成されたスパースファイルを含む）をその場で更新します。

Rsyncは各ファイルに変更を転送するだけで、-inplaceを使用すると、ファイルを再作成せずに変更されたブロックのみを書き換える必要があります。機能ページから。

rsyncは、Unixシステム用のファイル転送プログラムです。rsyncは、リモートファイルを同期させる非常に高速な方法を提供する「rsyncアルゴリズム」を使用します。これは、ファイルの両方のセットがリンクの一方の端に事前に存在することを必要とせずに、ファイルの違いのみをリンクを介して送信することによってこれを行います。

--inplaceを使用するとうまくいくはずです。これにより、進行状況の表示、転送の圧縮（デフォルトの圧縮レベルでの）、ローカルストレージディレクトリの内容の再帰的な転送（最初の末尾のスラッシュが重要）が行われ、所定のファイルに変更が加えられ、トランスポートにsshが使用されます。

rsync -v -z -r --inplace --progress -e ssh /path/to/local/storage/ \
user@remote.machine:/path/to/remote/storage/ 

私はよく-aフラグも使用しますが、これはさらにいくつかのことを行います。これは-rlptgoDと同等です。正確な動作は、manページで確認してください。

私はこれを行うソフトウェアを書くことになりました：

http://www.virtsync.com

これは、物理サーバーあたり49ドルかかる商用ソフトウェアです。

50GBのスパースファイル（3GBのコンテンツ）を家庭用ブロードバンドで3分未満で複製できるようになりました。

chris@server:~$ time virtsync -v /var/lib/libvirt/images/vsws.img backup.barricane.com:/home/chris/
syncing /var/lib/libvirt/images/vsws.img to backup.barricane.com:/home/chris/vsws.img (dot = 1 GiB)
[........>.........................................]
done - 53687091200 bytes compared, 4096 bytes transferred.

real    2m47.201s
user    0m48.821s
sys     0m43.915s 

ツールを介してバイナリ「rsync」を使用して「スナップショット」バックアップを実装するZumastor Linux Storage Projectをご覧くださいddsnap。

マンページから：

ddsnapは、複数の同時スナップショットを効率的に保持できるブロックレベルスナップショット機能を備えたブロックデバイスレプリケーションを提供します。ddsnapは、2つのスナップショット間で異なるスナップショットチャンクのリストを生成し、その差をネットワーク経由で送信できます。ダウンストリームサーバーで、更新されたデータをスナップショットブロックデバイスに書き込みます。

lvmsyncはこれを行います。

これが使用記録です。ソースでLVMスナップショットを作成し、論理パーティションを転送します。スナップショットの作成以降、変更の増分更新を好きなだけ転送できます。

ファイルシステム全体を複製することは解決策でしょうか？DRBD？http://www.drbd.org/

ここでは少し奇妙かもしれませんが、最近、NFSがこの問題を処理することがわかりました。

そのため、あるマシンのディレクトリをエクスポートし、別のマシンにマウントして、ファイルをのような基本的なユーティリティでコピーするだけcpです。（古い/古いユーティリティの中には、スパースファイルに問題がある場合があります。）

rsyncスパースファイルの転送では特に効率が悪いことがわかりました。

小さいファイルから中程度の違いを持つ巨大なファイルまたはブロックデバイスを同期するには、プレーンコピーを実行するか、bdsyncを使用します。rsyncはこの特定のケースにはまったく適合しません*。

bdsync私のために働いた、十分に成熟したようだ、それはバグの歴史が勇気づけられている（小さな問題、迅速な解決）。私のテストでは、速度は理論上の最大値に近かった**（つまり、ファイルを読むのに必要な時間で同期できる）。最後に、それはオープンソースであり、費用はかかりません。

bdsync両方のホストからファイルを読み取り、チェックサムを交換してそれらを比較し、違いを検出します。これらすべてを同時に。最後に、ソースホスト上に圧縮パッチファイルを作成します。次に、そのファイルを宛先ホストに移動し、bdsyncを2回実行して宛先ファイルにパッチを適用します。

かなり高速なリンク（100Mbitイーサネットなど）で使用し、小さな違いのあるファイル（VMディスクでよくあることです）で使用する場合、ファイルの読み取りに必要な時間に同期する時間を短縮します。低速リンクでは、1つのホストから別のホストに圧縮された変更をコピーする必要があるため、もう少し時間が必要です（素晴らしいトリックを使用して時間を節約できるようですが、テストしていません）。

*：rsyncは巨大なファイルでは非常に非効率的です。--inplaceを使用しても、宛先ホスト上のファイル全体を最初に読み取り、その後、ソースホスト上のファイルの読み取りを開始し、最後に差分を転送します（rsyncおよびobserveの実行中にdstatなどを実行するだけです）。その結果、わずかな違いのあるファイルであっても、同期するためにファイルを読み取るのに必要な時間の約2倍の時間がかかります。

**：ファイルのどの部分が変更されたかを伝える他の方法がないという仮定の下で。LVMスナップショットはビットマップを使用して変更されたブロックを記録するため、非常に高速になります（lvmsyncのreadmeに詳細があります）。

私はそのようなユーティリティを知らず、それを処理できるシステムコールのみを知っているので、あなたがそのようなユーティリティを書くなら、それはかなり役立つかもしれません。

実際にできることは、qemu-img convertを使用してファイルをコピーすることですが、宛先FSがスパースファイルをサポートしている場合にのみ機能します