gzipを使用して非常に大きなファイル（約30 GB）を圧縮することはできますか？

17

gzipを使用して非常に大きなファイル（約30 GB）を圧縮することはできますか？その場合、どのコマンド、スイッチ、およびオプションを使用する必要がありますか？

または、非常に大きなファイルを圧縮/圧縮するために使用できる別のプログラム（Ubuntuディストリビューションで一般的に利用可能なものが望ましい）がありますか？これについての経験はありますか？

— アンドリュー
ソース

ほとんどのハードコアコンプレッサーはxz、またはその並列バージョンpxzです。pxz -9ve - <in >out.xzPCでチキンを焼きますが、結果はgzipの結果の約60％になります。そのためには約7 GBが必要です。

— peterh -復活モニカ

22

私の知る限り、サイズの制限はありませんgzip-少なくとも30GB。もちろん、ディスク上の圧縮ファイル用のスペースが必要です。両方のバージョンが圧縮中に同時に存在します。

bzip2 ファイルを（大きなファイルだけでなく:)圧縮しますが、（場合によっては）遅くなります。

— 大野
ソース

4

bzip2は、ソースコードの圧縮などに特に適しています。gzipを汎用的に使用するのも良い競争相手です。異なるオペレーティングシステム間でのgzipの可用性はbzip2よりも優れています

— -jippie

bzip2は可逆圧縮ですか？ありがとう。

— アンドリュー

3

@Andrewはい、gzip / bzip2 / etc ...はすべてロスレスです。

— レナン

1

そしてpbzip、もあります-それは複数のCPUコアを使用します。しかし、それでもまだかなり遅いgzip。

— ニルス

1

@Nils：私のUbuntuにのみpbzip2

— rubo77

8

良い圧縮率が必要な場合は、lzmaを試してください。bzip2よりも高速で効率的で、gzipよりも高速かもしれません（確かにわかりません）

http://www.thegeekstuff.com/2010/06/lzma-better-compression-than-bzip2-on-unix-linux/

— fromnaboo
ソース

4

lzma賛成で廃止されxz、今。同じアルゴリズムで、多少異なる（改善された）ファイル形式がラップされています。LZMAはgzipよりも低速ですが、最大速度では、JSONデータのような非常に冗長なものでもかなり良好な圧縮です。（xz -0）

— ピーターコーデス

3

制限に達している場合は、再配置します。の代わりに：

gzip file

行う：

gzip < file > file.gz

うまく動作します。

— ジョシュア
ソース

2

gzip形式は2 ^ 32を法とする入力サイズを表すため、この--listオプションは、4 GB以上の非圧縮ファイルの不正な非圧縮サイズと圧縮率を報告します。

したがって、bzip2（v1.0.2以降）またはを使用しxzます。

— 楔形文字
ソース

正確にgzipのみにする必要がある場合は、ファイルをそれぞれ最大4 Gbの小さな部分に分割する必要があります。

— 楔形14

このために利用可能なファイルスプリッタがあります。

— ベレース

まあ、分割する必要はありません。報告されたサイズが間違っているだけです。

— 法律

2

XZを最低の圧縮に設定すると、速度と圧縮の点でgzipを上回る可能性があります。

— ピーター・シャノン
ソース