SMB経由のrsyncの高速化

LinuxボックスをSMB経由でNASにバックアップしています。NASをローカルにマウントしてから、大量のデータ（100GB程度）をrsyncします。それを実行するには、非常に長い時間がかかっていると思います：12時間以上。すべてがコピーされると、毎日ほとんど何も変更されないため、はるかに高速になると予想されます。

これをスピードアップする方法はありますか？

rsyncはローカルのハードディスクで機能していて、時間/サイズの比較ではなくチェックサムを使用しているとrsyncが考えていると思いましたか？しかし、時間と日付の比較を強制する方法が見つかりませんでした。他に確認できることはありますか？

rsyncアルゴリズムとツールの適用方法について誤解していると思います。

Rsyncのパフォーマンス上の利点は、デルタ転送を行うこと、つまり、ファイル内の変更されたビットのみを移動することから得られます。変更されたビットを特定するには、ソースホストと宛先ホストがファイルを読み取り、ブロックのチェックサムを比較して、変更されたビットを特定する必要があります。これは、rsyncの「魔法の」部分、つまりrsyncアルゴリズム自体です。

SMBでデスティネーションボリュームをマウントし、rsyncを使用して、Linuxがローカルソースおよびローカルデスティネーション（両方ともそのマシンにマウントされている）として認識しているものからファイルをコピーすると、最新のrsyncバージョンのほとんどが「ファイル全体」コピーモードに切り替わります、デルタコピーアルゴリズムをオフにします。差分コピーアルゴリズムがオンの場合、rsyncは宛先ファイル全体を（NASからネットワーク経由で）読み取り、ファイルのどのビットが変更されたかを判断するため、これは「勝利」です。

rsyncを使用する「正しい方法」は、1つのマシンでrsyncサーバーを実行し、他のマシンでrsyncクライアントを実行することです。各マシンは、独自のローカルストレージ（非常に高速である必要があります）からファイルを読み取り、変更されたファイルのビットについて合意し、それらのビットのみを転送します。彼らはあなたがrsync量の切り捨てられた 'cp'を使用しているようにしています。あなたは 'cp'で同じことを達成することができ、それはおそらくより速いでしょう。

NASデバイスがrsyncサーバー（またはクライアント）の実行をサポートしている場合は、ビジネスに参加しています。SMB経由でソースマシンにマウントする場合は、 'cp'を使用してファイルをコピーすることもできます。

このページが関連しているように、タイムスタンプが問題のようです：

http://www.goodjobsucking.com/?p=16

提案されたソリューションは追加することです

--modify-window=1

rsyncパラメータに。

はい、スピードアップできます。ソースまたは宛先のいずれかをリモートマシンのようにする必要がありlocalhost:ます。たとえば、アドレスを " "と指定します。

SMB共有をローカルにマウントすると述べました。これにより、ソースまたは宛先がrsyncへのローカルパスのように見えます。rsyncのマニュアルページには、コピー元とコピー先がローカルパスである場所にコピーすると、ファイル全体がコピーされると記載されています。これは、manページの「--whole-file」オプションの段落で説明されています。したがって、デルタアルゴリズムは使用されません。" localhost:"回避策を使用すると、デルタアルゴリズム機能が復元され、転送が高速化します。

ここに2pを投げると思いました。

弟がオフィスのネットワークにバッファローNASをインストールしたところです。彼は現在、オフサイトのバックアップを検討しているため、オフィスが焼け落ちても、少なくとも数百マイル離れた場所に、すべてのビジネスドキュメントが残っています。

私の最初のハードルは、彼が持っているVPS（小さなLinux仮想プライベートサーバー、あまりにも頑丈なもの）をVPNユーザーとして彼のブロードバンドルーター（彼はこのためにDrayTekを使用しています）にダイヤルインして、それ自体が彼のVPNを使用すると、安全な方法でNASに直接アクセスできます。見事にソートされて機能しています。

次の問題は、NASからVPSサーバーにファイルを転送することでした。私はSambaマウントを行うことから始め、あなたが説明したのとまったく同じ（またはさらに悪い）問題に遭遇しました。私は模擬rsyncを実行しましたが、転送するファイルを特定するのに1時間30分以上かかりました。この方法では、Evanが言うように、もう一方の端はrsyncではないため、多くのファイリングを行う必要があります。 Sambaマウントでのシステム呼び出し/読み取り（往復時間が約40ミリ秒のPPTP /トンネル接続を介して）。完全に機能しません。

バッファローが実際にrsyncデーモンを実行していることを少しも知りませんでした。そのため、代わりにそれを使用すると、総容量50Gbの87kファイルの場合、ドライラン全体で1分30秒しかかかりません。明らかに、50Gbのファイルを転送する（送信帯域幅が100k /秒のブロードバンドリンク上にあるNASから）ことはまったく別の問題です（これには数日かかります）が、最初のrsyncが完了すると、増分バックアップはグリースの軽量化（彼のデータは毎日大きく変化することはありません）。

私の提案は、Evanが上で述べた理由から、rsyncをサポートする適切なNASを使用することです。それはあなたのすべての問題を解決します。

安価なNASを持っているようなにおいがします。また、ネットワーク帯域幅が原因である可能性もあります...

「標準」のコンシューマNASは、ここで実行しようとしている大量のIOに関しては非常に脆弱です。また、PCとNASを接続する安価なスイッチで、すべてのパケットを正しく処理するのに十分な強度がない場合もあります。

これを試してください、少なくともあなたがあなたの取得速度を10％以上上げると思いますhttp://www.thegeekstuff.com/2009/09/linux-remote-backup-using-rsnapshot-rsync-utility/

問題の潜在的な原因は2つあります。誤ったコマンドラインオプションを使用しているか、NASのタイムスタンプに問題があるか（または両方:-)です。詳細については、このスレッド「rsync to NASはすべてを毎回コピーする」を確認してください。