巨大なファイルをすばやく転送するためのrsyncの最適化


19

これは私が必要なものです:

  • ソースサーバーで実行されているRsyncデーモン。宛先サーバーは、次のようにrsyncプルを実行します。
    rsync -ptv rsync:// source_ip:document / source_path / *。abc destination_path /
  • 巨大なバイナリファイル(3 GB〜5 GB)は、LAN経由でソースマシンから宛先にコピーされます。したがって、暗号化/復号化は必要ありません。したがって、SSHを使用していません。宛先マシンは、rsyncデーモンに直接接続します。
  • rsync pullの前は、宛先フォルダーは常に空です。したがって、条件付きで一部のファイルを更新することを心配する必要はありません。Rsyncプルは、常に宛先に新しいファイルを作成します(更新ではありません)。したがって、チェックサムの計算にrsyncは必要ありません。

受信側でrsyncが消費するCPUの量に満足できませんか?上記のケースでrsyncの使用を最適化するのに役立つrsyncオプションは何ですか。私が心配しているのは、rsyncが必要以上のことをしているかもしれないということです。rsyncチェックサムファイル。必要ありません。

また、速度の改善も見たいです。

ブロックサイズの変更、チェックサムの無効化などが役立ちますか?


転送するデルタがない場合は、rsyncを使用しないでください。
ワンブル

3
@womble:その場合、どのツールを使用すればよいですか?rsyncのはhere-示唆されたserverfault.com/questions/384467/...
VARUN

netcat、またはヌル暗号を使用したscp。
ワンブル

3
null暗号を使用したSCP scpはnull暗号をサポートしていますか?例を挙げてください。または、関連するリソースを教えてください。
ヴァルン

回答:


25

--whole-fileまたは-Wスイッチを見てみたいと思われるかもしれません。rsyncがローカルファイルシステムのコピーを行っている場合、これはデフォルトで有効になっていますが、LAN速度が高く、ネットワーク上で同期している場合、ドキュメントはその使用を推奨していると思います。

基本的に、rsyncデルタアルゴリズムを無効にし、異なると思われる場合はファイル全体を転送します。

強制しない限り、チェックサムについて心配する必要はありません-c。デフォルトでは、最後に変更された時刻とファイルサイズだけを調べ、それらの値が異なる場合はファイルが異なると想定します。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.