rsyncがハングしているだけで、ファイルリストを作成しています

20

[root@centos /]# rsync -av --exclude thumbs /storage root@xx.27.1.xx:/storage
root@xx.27.1.xx's password: 
building file list ...

私は約1時間座っていました...それは135GBの画像とフォルダです

/storage マウントされたext3 scsiドライブです。

rsyncがファイル/ディレクトリを計算するのにこれほど長い時間座っているのは正常ですか？

rsync

— アンドリュー・ファッション
ソース

ファイルはいくつですか？非常に多数のファイルがある場合、しばらく時間がかかります。

— ヘルヴィック

おそらく数千人...ユーザーがアップロードのimagesディレクトリ...

— アンドリューファッション

rsyncのこの部分は、数千、数千、数千のファイルがあるときに1時間以上かかります。「トップ」を実行すると、I / O待機が表示されますか？

— トロイジェル

私が好奇心because盛だからといって、/ storageでdf -i何を持っているのかを実行して教えてもらえますIUsedか？これにより、ファイルとフォルダーの数が大まかにわかります。

— ゾレダチェ

1383641、それはファイルの量ですか？

— アンドリューファッション

24

rsync 2.xは、完全なファイルリストを事前に作成します。

-Pオプションを追加すると、進行状況インジケーターが表示されます。

本当にハングしていると思う場合は、別の端末でrsyncのpidを見つけてから

実行strace -p PIDして、それが何をしているのかを見てください。（停止するには^ Cを押します。）
実行ps -o wchan PIDして、カーネル内の場所を確認します。

— プーリー
ソース

うわーすごいstrace！あなたはおそらく、何か循環が起こっていることに気付くでしょう：先祖ディレクトリの1つを参照するリンクのように。私の場合はそれが「無限に」多くのサブディレクトリを持っていたこと、すなわち、その深さに制限がありませんでした仮想ファイルシステムを使用していたtagfs/books/+/books/+/books/+/ ...

— ZAZを

@Zazまた、サブディレクトリが大量にあります。しかし、これは私のシステム設計です。これを解決する方法はありますか？

— user1641443

@ user1641443：すみません、それは私を超えています。

— ザズ

@ user1641443：1：Martinが言うようにrsync> 3.0を試してください。2：小さいサブツリーで複数のrsyncプロセスをそれぞれ実行します。3：独自の別の質問を開きます。

— プーリー

15

ここで説明するように、増分ファイルリストの利点を得るには、rsync 3.0.xにアップグレードする必要があります。rsync 2.xから3.xに移行すると、数百万の画像（合計200 GBまで）をrsyncしているときに、大幅な高速化が見られました。

それでも、すべてのデータを処理するには長い時間がかかるでしょう。私の場合、2台の非常に強力なDL380 G5サーバー間ではまだ1時間以上かかります。

— マーティン
ソース

また、特定のフラグが古い動作を強制することに注意してください。私にとっては、そうでした--delay-updates。

— Xiong Chiamiov

1

@XiongChiamiov私が使用している唯一のオプションは「-a」と「--progress」であり、バージョン3.1.xはまだ増分ファイルリストを作成しています。どうして？

— マイケル

3

あなたは以前にもそれduがぶら下がっていたことに注意しました。このファイルシステムに何か問題があり、rsync何でもヒットしているdu。

確認できる簡単なことの1つは、ディスクの問題を示すカーネルエラーメッセージです。dmesg一番下にあるものを入力して確認します。

— mattdm
ソース

1

メッセージ「building file list ...」の後のハングは、MTUの不一致が原因である可能性があります。たとえば、MTU 9000でネットワークインターフェイスを設定し、その間のスイッチではなく、小さなパケット（rsyncサーバーへの接続など）通過しますが、大きいものは通過しません（ファイルリストの送信など）。

— ミューテーター
ソース

多くの検索の後、私はこれに遭遇し、それは私が行って確認するように促しました-標準1450 mtuのvpnでrsyncを実行していましたが、サイト間の機器を制御していません-vpn mtuを1430とviolaに下げましたrsyncは100％動作します（そして突然、他のネットワークの奇妙さも消えました！）ありがとう！

— l0ft13

0

これとあなたの他のdu /storageぶら下げの質問に基づいて、私は、どちらduかまたはrsync問題ではなく、むしろに問題があると思います/storage。

— マーク・ワグナー
ソース