解凍速度を改善するための最適な圧縮パラメーター?


-1

ZIPアーカイブに圧縮するためのパラメーターは、最適な解凍速度になりますか?

この場合、アーカイブのサイズはそれほど重要ではありません。

7-Zipを使用する予定でした。たぶん、他のツールが解凍のために最適化できるでしょうか?


1
圧縮をまったく使用しないことは、実際には最速です。それは、「圧縮された」データがどこから来て、どこに圧縮されていないデータが行くかを無視する場合です。また、サイズは常に重要です。したがって、ユースケースを少し拡張する必要があるかもしれません。
ダニエルB

私の場合、アーカイブは、ローカルネットワークでHTTPを介して取得する必要がある多くのファイル(数千)のコンテナーです。HTTP経由でファイルを1つずつ取得するのは、各ファイルのオーバーヘッドのために時間がかかります。
アンドレイ

回答:


1

したがって、ネットワーク経由で転送しています。

解凍に関しては、すべての変数を考慮する必要があります。

  • データはどこから来たのですか?
  • データはどこに行きますか?
  • CPUの速度はどれくらいですか?通常は忙しいですか?

すべてを無視すると、非圧縮ストリーム(などtar)が常に最速になります。

ただし、非圧縮データはどこかに移動する必要があります。どれくらい速くそこに着くことができますか?通常、ローカルストレージデバイスにも到達可能な制限があります。全体的な目標は、通常、利用可能なI / O帯域幅を宛先に飽和させることです。

データを取得する必要があります。高速ネットワーク接続(1+ GBit / s)の場合、LZ4やLZOのような高速圧縮アルゴリズムは、おそらくそれだけの価値があります。接続が遅くなると、バイアスはよりCPUに負荷のかかるアルゴリズムにシフトします。ただし、これは送信側の関心事です。ほとんどの場合、解凍は桁違いに速くなります。

データを解凍する必要があります。これにはCPU時間と、場合によってはかなりの量のメモリも必要です。どのくらい正確に、CPUモデルに依存します。さらに別の懸念は、もちろん他のサービスを中断しないことです。

tl; dr:高速ネットワーク接続では、ZIPアルゴリズムは適切な選択ではありません。LZ4をお試しください。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.