rsync -avzがscp -rより速いのはなぜですか?


55

私はこれに少し困惑していますか?なぜrsyncはscpより速いのですか?rsyncは下のscpを使用しないのですか、それとももっと効率的なのですか?SCPを高速化する方法はありますか?


1
新鮮なコピーです。
grm

回答:


68

rsyncは差分のみをコピーするため、ターゲットにすでにソースファイルの一部が含まれている場合、rsyncは明らかにscpより高速です。しかし、あなたの質問は空のターゲットに簡単なコピーをすることについてだったと思う。

-zオプションを渡しましたrsync。これにより、圧縮がオンになります。ネットワーク帯域幅が制限要因である場合(多くの場合)、圧縮により転送速度が大幅に向上します。

オプションscpを渡すことで、圧縮を有効にすることもでき-Cます。これは、rsyncを使用した場合でも問題ないはずです。圧縮は帯域幅を節約しますが、レイテンシとCPUオーバーヘッドを追加するため、sshではデフォルトでは有効になっていません レイテンシーは対話型セッションには不適切です(これはには当てはまりませんscp)。コピーするファイルが既に圧縮されている場合、CPUオーバーヘッドは役に立ちません。

古いバージョンのrsyncデフォルトのトランスポート層として使用rshのではなく、sshは、とても公平な比較は間だろうrsyncrcp。ただし、2004-01-01にリリースされた2.6.0以降、sshがデフォルトになっています。

同じ圧縮設定で、私は期待rsyncscp本質的に同じ速度を持っています。そうでない場合は、ベンチマークを共有してください。


3
ニース、-Cを使用すると、5メガバイトから20メガバイトまで増加私の転送速度を作った
ıɾuǝʞ

3〜9 MB前後の16個のファイルを含むディレクトリに対してテストを行ったところ、これらの回答で提案されている圧縮を有効にした場合rsync -zよりもずっと高速ですscp。また、1つのファイルに手動で圧縮してアーカイブし、そのファイルを圧縮するよりも高速scpです(scp圧縮すると、さらに遅くなります)。したがって、OPの問題は実際には未解決のままです。wthは?scpと比較して非常に遅いrsyncです。
ohcibi

12

高速でscpを試してください

scp -p -C -o 'CompressionLevel 9' -o 'IPQoS throughput'  -c arcfour machine:file .

私のセットアップでは、これらのオプションはscp machine:fileに比べてscpを5倍高速化します。

更新、2017

実際には、MTUやバッファサイズなどのTCP詳細の管理が不十分なため、scpは低速です。幸いなことに、これはHPN SSHプロジェクトによって修正されました。私の理解では、HPN SSHをrsyncのトランスポートとして使用できます。


1
素晴らしいです、ありがとう!!ただし、常にscp -pデフォルトとして常に(日付/時刻を保持)し、おそらく-r(再帰的)そうしscp -pr -C ...ます。(私は忘れたので、これらを使用して40Gb scpジョブをスクラブして再起動する必要がありました-p
-smci

ヒントに感謝しますが、コマンドに-pを追加しました。
ピーターK

4

以前はその逆でしたが、rsyncの速度は過去数回の改訂で大幅に改善されたと思います。また、コピーするファイルの数にも依存します。多くの場合、コピーするファイルごとにscpが新しいプロセスを生成するため、rsyncは通常より高速になります。scpが使用する暗号を弱めて、速度が向上するかどうかを確認してください。最後に思い出したのは、アークフォー暗号が最速だったことです。


2
Scpは実際には、コピーされるファイルごとに新しいプロセスを生成しません。rsyncと同様に、送信側と受信側に1つのプロセスがあります。
ケンスター14年

3

多数の小さなファイルの場合、rysncはscpよりもはるかに高速です。彼らは、オーバーヘッドが小さいためだと言います。1つの大きなファイルに対して、同様の結果が期待されます。


3

私のテストでは、rsyncscpよりも高速です。iotopを使用して、同じファイルの転送でテストできます。

sudo iotop -o

異なる結果が得られるかもしれませんが、自分でテストできます。ところで、scpを使用している間、次の方法で暗号を選択することを忘れないでください。

scp -c arcfour <source> <dest>

一方では、arcfour暗号化をスピードアップすることができます。


0

既存のファイルの上にファイルを再コピーしていますか?その場合、rsyncの比較をブロックし、差分のみをコピーする機能が関連します。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.