類似ファイルを効率的に圧縮

よく似たファイルを圧縮する必要がよくあります。

現在私は7Zipを使用しています。これは、Ultra設定の8コアを使用して、約35分で16GBファイルを1.2GBに圧縮します。

その時間の多くは、圧縮に使用する辞書の計算に費やされているようです。ファイルは非常に類似しているため、実際に使用される辞書も同様です。

辞書を保存し、その保存した辞書を後続のファイルに再利用できるWindowsベースの圧縮ツール（知らないオプションが付いた7Zip、または別のツール）はありますか？

大幅に高速に圧縮しながら、私が持っているものと同様の圧縮率を維持するという問題に取り組むより良い方法はありますか？

レンペル-ジブ-ウェルチ（LZW）圧縮アルゴリズム自体が実際に辞書を計算された仕事の大部分と、本質的に、計算集約的です。これは文字通りLZWが機能する方法です。

アルゴリズム自体は、スキャンする次の「シンボル」ごとに1つの新しい辞書エントリを追加します。したがって、1回の反復ごとに、新しいエントリが辞書に追加されます。実際、ディクショナリはファイルの圧縮されたコピーになるため、LZW圧縮が最初に計算にかなりの時間を費やしているのは、実際にはこれだけです。

ハフマンエンコーディングのようなものを使用した場合、辞書の再利用は確かに可能です（圧縮率/サイズが最適とは言えない可能性があります）。ただし、ほとんどの最新の圧縮アルゴリズムとツールは、効率と速度のためにLZWアルゴリズムを使用します（ハフマン圧縮では、データを2回パスする必要があります（1つはハフマンツリー/テーブルを生成するため、もう1つは実際にデータを圧縮するため））。シングルパス）。

DEFLATEアルゴリズムとは異なり、7-ZipのLZMAはデフォルトでソリッド圧縮を使用します。これにより、ファイル間の冗長性が利用されます。これは、ファイルが十分に小さい限り、デフォルト設定で動作します。

デフォルトの設定で2ギガバイトのための固形ブロックサイズ 16 GBのファイルは、実際には8つの別個のチャンクとして圧縮されます。

@Breakthorughがすでに言ったように、辞書はその場で生成されます。これを経験的に確認するには、Solid Block sizeをSolid（すべてのファイルを一度に圧縮）およびNon-solid（各ファイルを個別に圧縮）に設定します。

ソリッドブロックのサイズを大きくすると、実際には速度が低下しますが、圧縮率が大幅に向上する可能性があります。たとえば、2つの同一のファイルを圧縮すると、非圧縮のほぼ2倍のサイズのアーカイブが作成されます。