コピーする前にファイルを圧縮する方が速いですか？ [複製]

外付けハードドライブにコピーする必要がある約80 GBのデータがあります。最初にすべてのファイルを圧縮してからコピーオーバーする方が速いでしょうか。それとも、圧縮と解凍にかかる時間が節約するコピー時間よりも長くかかるでしょうか？

私は基本的に文書、写真、ビデオなどのWindowsを再インストールするつもりですそしてそして1つの見通し.pstバックアップファイル。そして28,284個のファイルがあります。

私が始める前に私が用心深いべきであるかもしれないどんなポインターもプロセスをスピードアップすることができましたか？

あなたのために答えなさい：いいえ。 外部ファイルに1つの圧縮ファイルを圧縮形式で残す場合に限り高速です。あなたが同じハード上のファイルを解凍する場合しかし、それは遅くなります。 ところで、あなたはどんなファイルを持っていますか、そしてあなたはどのくらいのファイルを持っていますか？

外付けドライブはUSB、eSATA、Firewireなどで接続されていると思います。いずれの場合も、ドライブはホストコンピュータにはブロックデバイスとして表示され、ホストはあたかも内蔵ハードドライブであるかのようにハードディスクと「会話」します。それが「USB大容量記憶装置」デバイスクラスを持つことの全体的なポイントです。

これはまた、データがハードディスクに表示されることを目的とした正確な方法でデータをワイヤにプッシュする必要があることを意味します。ホスト上のデータを圧縮するスキームはありません。 圧縮された USB接続を介してデータを転送し、生の未圧縮データが物理メディアに保存される直前に透過的に解凍します。そのため、データを事前にソースディスクに圧縮するか、工夫をする必要があります（たとえば、NASを中間に配置し、圧縮ネットワークプロトコルを使用するなど）。

これをさらに複雑にするのは、圧縮率の高い特定のデータがない限り、圧縮率が非常に悪いことです。 80 GBの大部分がビデオ、写真などで構成されている場合は、非常に特殊なアルゴリズムを使用して既に高度に圧縮されているため、負の比率になることさえあります。

いずれにせよ、大きな圧縮率を得るには ヘビー CPU時間の量簡単な実験でどれほどひどいコストがかかるかをおおまかに見積もることができます。最高の設定で7zipで任意の1 GBファイルを圧縮して時間を測定するだけです。それからどのくらいかかるかを測定します 解凍する 結果。

ほとんどの圧縮アルゴリズムは解凍速度に合わせて最適化されています。それでも、顕著な、あるいは重大なパフォーマンス上のペナルティが発生し、圧縮データにアクセスするたびにそのペナルティを支払うことになります。

それとも、圧縮と解凍にかかる時間が節約するコピー時間よりも長くかかるでしょうか？

私が始める前に私が用心深いべきであるかもしれないどんなポインターもプロセスをスピードアップすることができましたか？

あなたが達成したいのがあなたのソースドライブからあなたの外付けドライブへデータを得ることだけであるならば、コピーはあなたがここで答えを得る時までにおそらくすでに完了している。 ：o）特に80 GB以降はそれほど大した問題ではなくなりました。ボールパークの数を10 MB /秒とすると、3時間以内に待機します。 80 GBを圧縮するとかかります ずっと より長いです。

なんか する 考えるのにメリット 中断された転送 。その80 GB転送を95％のマークからやり直さなければならず、最初からやり直さなければならないのは、控えめに言っても、面倒です。この場合の標準的なツールは rsync圧縮よりもはるかに多くの時間を節約できます。価格はそれを使用する方法への小さな投資ですが、後でデータを読むことにパフォーマンス上のペナルティはありません、これは大きなプラスです。

TL; DR：あなたの質問から集めたものから、 rsync （または同様の）方法があります。非常に特殊な状況を除いて、圧縮は時間の大きな無駄になります。

はいといいえ。それは本当にあなたが何を圧縮しているかそして何が圧縮の方法であるかに依存します。 80GBのデータは、その圧縮された状態を維持するためにIFを圧縮する価値があります。そのデータにすばやくアクセスしたいのであれば、圧縮はその機能を妨げるだけです。本当に圧縮はそれがあなたが圧縮しているサーバーまたはコンピュータの性能に依存するのでそれがハードウェアであるほど多くのソフトウェアではありません。

実際には、圧縮されていない生のデータをコピーするだけで時間を節約できます。これは、圧縮が設計されたものではありません。

これは、バックアップしているデータの種類とバックアップしているデバイスによって異なります。私はUSB 2ドライブに定期的にバックアップする、非常に圧縮性の高いデータを大量に持っています。 USB 2はデータを圧縮するのにかかる時間よりもかなり遅いので、データを圧縮すると転送が大幅にスピードアップし、節約になります。

逆に、高速のUSB3ドライブまたは圧縮データをお持ちの場合は、あまりメリットがありません。

あなたが使用する圧縮のタイプはまたあなたのCPUと同様に考慮に入れる必要があります。 Zipなどは比較的軽量なので、圧縮は高速ですが、圧縮アルゴリズムの中にははるかにCPUに負荷をかけるものがあります。

私はlinuxの人なので、使ったことはありませんが、次のようにすることで両方の長所（つまり、簡単にアクセスできる文書、より速い書き込み時間）を利用できるかもしれません NTFS圧縮 あなたのファイルシステムに。