rsyncファイルリストの計算を高速化/回避

私はrsync 3.1.1を使用して2つのディスクの同期をとっています。1つはネットワーク上にあり、samba共有としてマウントされてい/mnt/ROUTER_WD_2TB/ます。これはソースであり、ネットワークの制限により、速度は最大30〜40MB / sです。もう1つは宛先で、ローカルにマウントされ（ピーク110MB / s）、です/mnt/BACKUP_HITACHI_2TB/。

次のrsyncコマンドを使用します。

rsync  -haAXi --quiet --append-verify --delete /mnt/ROUTER_WD_2TB/* /mnt/BACKUP_HITACHI_2TB/.

ディスクには多くのファイルが含まれ、そのほとんどは小さいです。

問題は、rsyncはかなり長い時間（10〜20メートル）を取るある前に、任意のファイルを移動し始め、それは小さなファイルの非常に大きな数の計算、ファイルリストに持っているので、私は推測します。この期間中、ファイルの転送速度は約40MB / sですが、新規ネットワークの使用率は200〜500KB / sと低いです。

通常、rsyncは最終的にコピーする必要のあるものを見つけるのに約15分かかり、それをコピーするのに5秒かかり、さらに5分間コピーする他のファイルをチェックし続けます。全体として、5秒のファイルコピーは最終的に20分間続きます。

フォルダを除外する以外に、ファイルをコピーする前にこの長い期間を回避するために取ることができる手段はありますか？rsyncがすべてのファイルリストを最初から再構築する必要がないように実装できる「キャッシュ」の種類はありますか？

これまでのようにrsync、それは（それが有名であるために、そのデルタアルゴリズムを含む）の最適化のほとんどを無効にしますので、あなたは2つのローカルファイルツリー間でコピーしている懸念しています。rsyncリモートサーバーでを実行できる場合（ネットワーク全体で真のクライアントサーバーシナリオが得られる場合）、かなりの量の牽引力が得られます。

それにもかかわらず、ここに考慮すべき他のオプションがあります

1. 古いファイルを削除することを心配せずにコピーします。これにより、より高速な転送をより頻繁に実行し、遅いクリーンアップを1日1回だけ行うように委任できます。

   cp -au /mnt/ROUTER_WD_2TB/. /mnt/BACKUP_HITACHI_2TB/
   

2. rsyncのデフォルトの削除アルゴリズムのバリエーションを使用して、転送前にファイルの完全なリストを作成しないようにします。

   rsync -haAXi --quiet --delete --delete-during /mnt/ROUTER_WD_2TB/ /mnt/BACKUP_HITACHI_2TB/
   

3. トップレベルのディレクトリを別々のタスクに分割し、それらを並行して実行します。ディスクがIOにバインドされている場合、これは実際には効果がなく、プラッターを回転させると、ほぼ確実に事態が悪化することがあります。

   for d in /mnt/ROUTER_WD_2TB/*
   do
       rsync -haAXi --quiet --delete --delete-during "$d" /mnt/BACKUP_HITACHI_2TB/ >"/tmp/rsync.${d/*\/}.log" 2>&1 &
   done
   wait
   cat /tmp/rsync.*.log
   rm -f /tmp/rsync.*.log
   

これらの提案のいずれも役に立たない場合は、それが何--verboseをrsyncしているかを確認するために別の提案を追加する価値があります。変更されていないすべてのファイルを処理しているのではないかと思います。十分なファイルがある場合、これには単に長い時間がかかります。

の-vvログ全体を表示するために使用できますrsync。