5
非常に大きなフォルダー構造の同期
イントラネットには、約800,000個のファイルが約4,000個のフォルダーに分割されたフォルダー構造があります。これをDMZのマシンの小さなクラスターに同期する必要があります。構造の深さは非常に浅い（2レベルを超えない）。 ほとんどのファイルは変更されず、毎日数千の更新されたファイルと1〜2千の新しいファイルがあります。データは、ソースデータが削除された場所で保持されている履歴レポートデータです（つまり、これらはアーカイブされて削除されるほどソースデータが十分に古いファイナライズされたレポートです）。合理的な時間枠で発生する可能性があるため、1日に1回の同期で十分です。レポートは夜間に生成され、午前中にスケジュールされたタスクとして最初に同期します。 明らかに、定期的に変更されるファイルはごくわずかなので、インクリメンタルコピーの恩恵を受けることができます。Rsyncを試してみましたが、「ファイルリストの作成」操作を完了するだけで8〜12時間かかる場合があります。rsyncの能力を急速に上回っていることは明らかです（12時間の時間枠は長すぎます）。 RepliWebという別のツールを使用して構造を同期していましたが、約45分で増分転送を実行できます。ただし、制限を超えたようで、ファイルが削除されていないときにファイルが表示されるようになりました（おそらく、内部メモリ構造が使い果たされたのかどうかはわかりません）。 他の誰かがこの種の大規模な同期プロジェクトに遭遇しましたか？同期のためにこのような大規模なファイル構造を処理するように設計されたものはありますか？