約320,000個のファイル、80,000個のフォルダー（100 GBのみ）のデータを移動する必要があります。一部のファイルは1 GBを超えますが、ほとんどのファイルは1 KB未満です。
私はファイルをコピーする最速の方法を見てきましたが、これらのどれがどれだけ役立つかはわかりません。私の問題は、純粋な転送速度ではなく、Windowsが32万ファイルのIOをどれだけ速く処理できるかについてです。
xcopy、robocopy、teracopy、fastcopyのいずれかを使用すると、速度が向上すると思いますか？
それらを（robocopyを使用して）1回コピーするのに長い時間（12時間以上）がかかりました。スピードアップするにはどうすればよいですか？
内容はUSB 2.0外付けドライブにあります。
回答:
外付けハードドライブをFirewireに変更するとしたら、速度の転送はUSB2よりもはるかに高速です。
ファイルを単一の "tar"にパックし、ファイルを転送すると、少し時間が節約されると思います。何千ものファイルと比較して1つの巨大なファイルをコピーするだけなので、I / O時間が削減されるため、（コピーフェーズ中）信じるリソースの消費も少なくなります。または、tarストリームをUSBドライブに直接パイプすることもできます。
大量のファイルをコピーする最も効率的な方法は、まずそれらをISOファイルにストリーミングしてから、代わりにISOをコピーすることでした。このようにして、ファイルをコピーするために必要な何千ものコマンドを発行することで、ディスクは心配されません。
もちろん、これはディレクトリ構造によって異なります。幸運にも、4.7GB間隔で新しいディレクトリを作成して、プロセスを自動化するVBScriptを非常に簡単に作成できるようになりました。
最初にソースファイルを単一のアーカイブ（tarまたはzipに圧縮など）にパックしてから、ネットワーク経由でアーカイブを転送し、次にアーカイブを解凍する場合、転送シーケンスの全体的なパフォーマンスがほぼ確実に向上します。先。
アーカイブをネットワーク経由で転送する場合は、単純なSMBファイルのコピーよりもFTP（または別のファイル指向の転送プロトコル）を使用するほうがよいことを忘れないでください。
上記のようなプロセスを使用して、地理的に離れた複数のデータセンター（米国、ヨーロッパ、アジア）間で約60GB（約50,000〜75,000ファイル）のアプリケーションディレクトリを定期的に転送しました。一度に1つのファイルを転送することと、FTP経由で圧縮アーカイブを転送することの違いは、10〜40倍高速です。
他の多くのファイル転送シナリオと同様に、Rsyncもここであなたの友達になることができます。
商用オプションを利用できる場合は、複数のUDPストリームを介してビットをプッシュできるUDPベースのバイナリストリーミングソリューションが価値があるかもしれません。見てくださいhttp://www.filecatalyst.com/を