Zipが単一のファイルを同じコンテンツの複数のファイルよりも小さく圧縮できるのはなぜですか？

10,000個のXMLファイルがあるとします。今、私は友人にそれらを送信したいとします。それらを送信する前に、それらを圧縮したいと思います。

方法1：圧縮しないでください

結果：

Resulting Size: 62 MB
Percent of initial size: 100%

方法2：すべてのファイルを圧縮し、10,000個のxmlファイルを送信する

コマンド：

for x in $(ls -1) ;  do   echo $x ; zip "$x.zip" $x ; done

結果：

Resulting Size: 13 MB
Percent of initial size: 20%

方法3：10,000個のxmlファイルを含む単一のzipを作成する

コマンド：

zip all.zip $(ls -1)

結果：

Resulting Size: 12 MB
Percent of initial size: 19%

方法4：ファイルを1つのファイルに連結して圧縮する

コマンド：

cat *.xml > oneFile.txt ; zip oneFile.zip oneFile.txt

結果：

Resulting Size: 2 MB
Percent of initial size: 3%

質問：

• 単一のファイルを圧縮するだけで、こんなに劇的に良い結果が得られるのはなぜですか？
• 方法2よりも方法3を使用すると劇的に良い結果が得られると期待していましたが、そうではありません。どうして？
• この動作は固有zipですか？使用してみた場合gzip、異なる結果が得られますか？

追加情報：

$ zip --version
Copyright (c) 1990-2008 Info-ZIP - Type 'zip "-L"' for software license.
This is Zip 3.0 (July 5th 2008), by Info-ZIP.
Currently maintained by E. Gordon.  Please send bug reports to
the authors using the web page at www.info-zip.org; see README for details.

Latest sources and executables are at ftp://ftp.info-zip.org/pub/infozip,
as of above date; see http://www.info-zip.org/ for other sites.

Compiled with gcc 4.4.4 20100525 (Red Hat 4.4.4-5) for Unix (Linux ELF) on Nov 11 2010.

Zip special compilation options:
    USE_EF_UT_TIME       (store Universal Time)
    SYMLINK_SUPPORT      (symbolic links supported)
    LARGE_FILE_SUPPORT   (can read and write large files on file system)
    ZIP64_SUPPORT        (use Zip64 to store large files in archives)
    UNICODE_SUPPORT      (store and read UTF-8 Unicode paths)
    STORE_UNIX_UIDs_GIDs (store UID/GID sizes/values using new extra field)
    UIDGID_NOT_16BIT     (old Unix 16-bit UID/GID extra field not used)
    [encryption, version 2.91 of 05 Jan 2007] (modified for Zip 3)

編集：メタデータ

1つの答えは、その違いはzipに保存されているシステムメタデータであることを示唆しています。これが当てはまるとは思いません。テストするために、次のことを行いました。

for x in $(seq 10000) ; do touch $x ; done
zip allZip $(ls -1)

結果のzipは1.4MBです。これは、説明されていないスペースがまだ約10 MBあることを意味します。

Zipは、圧縮時に各ファイルの内容を個別に扱います。各ファイルには独自の圧縮ストリームがあります。圧縮アルゴリズム（通常はDEFLATE）内で、繰り返しセクションを識別するためのサポートがあります。ただし、ファイル間の冗長性を見つけるためのZipのサポートはありません。

そのため、コンテンツが複数のファイルにある場合、余分なスペースが非常に多くなります。同じ圧縮ストリームをファイルに複数回配置することになります。

ZIP圧縮は、圧縮されるデータ内の反復パターンに基づいており、ファイルが長くなればなるほど圧縮が向上します。これは、パターンをより多く見つけて使用できるためです。

簡略化すると、1つのファイルを圧縮すると、（短い）コードを（長い）パターンにマッピングする辞書が、結果の各zipファイルに必ず含まれます。1つの長いファイルを圧縮すると、辞書は「再利用」され、すべてのコンテンツでさらに効果的になります。

ファイルが（テキストが常にそうであるように）少しでも似ている場合、「辞書」の再利用は非常に効率的になり、結果ははるかに小さい合計zipになります。

Zipでは、各ファイルは個別に圧縮されます。反対は「固体圧縮」です。つまり、ファイルは一緒に圧縮されます。7-zipおよびRarはデフォルトで固定圧縮を使用します。GzipおよびBzip2は複数のファイルを圧縮できないため、Tarが最初に使用され、固体圧縮と同じ効果があります。

ファイルが一緒に圧縮されている場合、xmlファイルは類似した構造とおそらく類似したコンテンツを持っているため、圧縮率は高くなります。

たとえば、ファイルに文字列が含まれて"<content><element name="おり、コンプレッサーが別のファイルでその文字列を既に検出している場合、コンプレッサーが文字列の最初の出現を「固体圧縮」を使用しない場合、前の一致への小さなポインターに置き換えますファイルはより大きなリテラルとして記録されます。

Zipはファイルの内容を保存するだけでなく、所有ユーザーID、権限、作成および変更時間などのファイルメタデータも保存します。ファイルが1つの場合、メタデータのセットが1つあります。10,000個のファイルがある場合、10,000個のメタデータセットがあります。

OPが見逃したオプションは、圧縮をオフにしてすべてのファイルを圧縮し、圧縮結果を最大に設定して圧縮します。これにより、* nix .tar.Z、.tar.gz、.tar.bzなどの圧縮アーカイブの動作を大まかにエミュレートします。これにより、圧縮がファイル境界を越えて冗長性を利用できるようになります（ZIPアルゴリズムは単一で実行すると実行できません）パス）。これにより、個々のXMLファイルを後で抽出できますが、圧縮は最大化されます。欠点は、抽出プロセスに追加の手順が必要であり、通常の.zipに必要なディスク容量よりも一時的に多くのディスク容量を使用することです。

tarファミリーをWindowsに拡張する7-Zipなどの無料ツールが広く普及しているため、Linux、OS X、およびBSDがすべて持っているように、.tar.gzや.tar.bzなどを使用しない理由は本当にありません。それらを操作するネイティブツール。

zip圧縮形式は、各ファイルを個別に保存および圧縮します。ファイル内の繰り返しのみを利用するのではなく、ファイル内でのみ利用します。

ファイルを連結すると、zipはすべてのファイルの繰り返しを利用できるため、圧縮率が大幅に向上します。

たとえば、各XMLファイルに特定のヘッダーがあるとします。そのヘッダーは各ファイルで1回だけ発生しますが、他の多くのファイルでもほぼ同じように繰り返されます。方法2および3では、zipはこのために圧縮できませんでしたが、方法4では圧縮できました。

マイク・スコットが言及したメタデータの隣には、圧縮アルゴリズムにもオーバーヘッドがあります。

個々の小さなファイルを大量に圧縮する場合、たった1つの圧縮ブロックを埋めることができるので、それらを圧縮できるようにすることは非常に幸運でなければなりません。単一のモノリシックブロックを圧縮する場合、システムは、個々のファイルの「境界」（より良い単語がないため）を無視して、アルゴリズムにデータをストリーミングし続けることができます。

また、ASCIIは高い圧縮係数を持つことが知られています。プラスxmlは非常に反復的であることが多く、メタデータはxmlコンテンツほど簡単に圧縮できないデータの大きな部分になります。

最後に、メモリが適切に機能する場合、zipは辞書エンコーディングのようなものを使用します。これは、ASCIIファイルで特に効果的であり、XMLの反復性によりさらに効果的です。

データ圧縮の説明：http : //mattmahoney.net/dc/dce.html

次のXMLを検討してください。

<root>
  <element id="1" />
  <element id="2" /> 
  <other id="3" />
  ...
</root>

XMLは非常に反復的な構造を持ち、Zipはそれらの反復を利用して、パターンがより多く出現する辞書を作成し、圧縮する場合、より少ないビットを使用してより多くの反復パターンを保存し、より多くのビットを使用してより少ない反復パターンを保存します。

これらのファイルを連結すると、ソースファイル（zipのソース）は大きくなりますが、XMLの退屈な構造の分散はファイル全体で償却されるため、これらのパターンをZIPで保存できるため、より多くの繰り返しパターンが含まれます。より少ないビットを使用します。

現在、異なるXMLを単一のファイルに結合すると、それらのファイルのタグ名が完全に異なる場合でも、圧縮アルゴリズムはファイルごとではなく、すべてのファイルにわたる最適なパターン分布を見つけます。

最終的に、圧縮アルゴリズムは最適な繰り返しパターン分布を見つけました。

7-Zipの回答に加えて、あまり良くはありませんが、何らかの理由で7-Zipを使用したくない場合はテストする価値がある別のアプローチがあります。

zipファイルを圧縮します。現在、通常zipファイルは圧縮できませんが、同じファイルが多数含まれている場合、コンプレッサーはこの冗長性を見つけて圧縮できます。冗長性のない多数のファイルを扱うとき、私は小さな利益を見たことにも注意してください。サイズが本当に気になる場合は、zipに大量のファイルがある場合は試してみる価値があります。