マルチコアとコピー速度

私がやりたいのは500Kのファイルをコピーすることです。

サーバー内の1つの宛先から別の宛先にコピーしたい。ほとんどの場合、非常に多くの小さなファイルの電子メールが含まれています。

その23 GB以上のみですが、非常に時間がかかります（30分以上、まだ完了していません）、linux cpコマンドも1 CPUのみを使用します。

したがって、複数のcpを使用するようにスクリプト化すると、高速化されます。

システムは16コア、16 GB RAM、15Kドライバー（15000 RPM SATA）です。

他のオプションは何ですか？

タール化と解凍はさらに時間がかかり、マルチコアを使用しないと思います..

あなたのボトルネックはハードドライブの速度です。マルチコアではこれを高速化できません。

単一の大きなファイルのコピーは、各操作のセットアップと破棄に大きな遅延があるため、多くの小さなファイルを移動するよりも高速です-また、ディスクとOSは単一の大きなファイルで多くの先読みを行うことができます。そのため、最初にそれをtarすることでより速くなります。tarにかかる時間を考慮に入れると、物事はあまり高速化されないかもしれません。

単一のディスクからしか読み取っていないことに注意してください。そのため、ディスクへの呼び出しを並列化すると、実際には速度が低下し、複数のファイルを同時に処理しようとします。

すべて同じディレクトリにありますか？複数のcpを開始するスクリプトがあります：http : //www.unix.com/unix-dummies-questions-answers/128363-copy-files-parallel.html

ツリーの場合は、調整する必要があります。

質問はかなり古いものですが、最良の方法はlbzip2やpbzip2などのマルチコアを使用して圧縮することだと思います。圧縮ファイルを転送し、マルチコアを使用して解凍します。インターネット上のコマンドについて調べることができます。