CPUと帯域幅のコストを可能な限り抑えながら、大きなファイルをrsyncする方法は？

リモートでバックアップする予定の500 GBファイルがあります。ファイルは頻繁に変更されます。デスクトップからサーバーに再同期します。どちらもrsyncクライアントまたはサーバーを実行できます。

これに適切なコマンドは何ですか？私が試したものは永遠に取っているか、単に奇妙に振る舞っています。

例と結果：

rsync -cv --partial --inplace --no-whole-file /desktop/file1 myserver.com::module/file1 

動作しているようですが、2回（？！）また、遅いです。

上記のコマンドは、両方のコンピューターでチェックサムを実行しますか、それとも送信コンピューターでのみチェックサムを実行しますか？それ以外の場合は正しいですか？

rsyncはファイル全体を読み取り/チェックサムする必要があるため、高速になることはありません。500GBの読み取りには、SSDなどに保存していない限り、時間がかかります。

試してくださいrsync -vhz --partial --inplace <file/server stuff>。

-cタイムスタンプを使用してファイルが変更されているかどうかを確認するのではなく、ファイル全体をチェックサムしてから転送することを意味します。つまり、ファイル全体を2回読み取ります。タイムスタンプが変更されていない場合（変更する必要がある場合）、touchrsyncを実行する前にファイルを変更できます。

これがスクリプト化されていない場合、実行時に--progressどのように動作するかを確認できるように追加できます。

rsyncではありませんが、何をしようとしているかに応じて、これがうまくいくかもしれません。同様のバックアップタスクを実行していましたが、間違いなく高速でした。

netcatを使用して、あるマシンから別のマシンへのtarパイプを作成します。

ソースマシンで：

tar -cpv --atime-preserve=system . | nc -q 10 -l -p 45454

tarballを作成すると、アクセス許可と時間が保持され、ポート45454でnetcatにパイプされます。

バックアップマシン上

nc -w 10 X.X.X.X 45454 | tar -xpv

X.X.X.X =ソースマシンのローカルIPアドレス。

私にとって、これはうまくいきました。rsyncでは2〜3 MB /秒ではなく、有線LANでは25〜30 MB /秒で実行されました。欠点は、同期しないことです。ソース上にあるもののコピーを作成するだけです。あなたが説明しているようなバックアップの場合-500GBのファイル1つ-それは非常にうまくいく可能性があります。

アクセス許可の問題を回避するために、rootとしてこれを実行する必要があるか、幸運になるかもしれません。

FWIW、私は最初にここでこれについて学びました：http : //www.screenage.de/blog/2007/12/30/using-netcat-and-tar-for-network-file-transfer/

ネットワークのオーバーヘッドを回避するには、SSHではなくrsyncプロトコルを使用します。デフォルトでは、rsyncはhostname：/ pathなどのURLを指定するときにSSHを使用します。代わりにrsync：// hostname / pathを使用して、より高速なrsyncプロトコルを使用します。この方法では、tar / netcatを使用したトリックは不要です。rsync deltaアルゴリズムははるかに高速である必要があります。

詳細については、https：//gergap.wordpress.com/tag/rsync/も参照してください。