非常に大きな(100G)ファイルを圧縮する時間
多数の非常に大きなファイル(80ギガバイトのGB)を圧縮しなければならないことに気づき、システムの速度(不足)に驚いています。約500 MB /分の変換速度が得られます。を使用してtop、私は単一のCPUを約100%使用しているようです。 tarファイルの作成(80Gファイルの作成方法)には数分(おそらく5または10)しかかからなかったため、(ちょうど)ディスクアクセス速度ではないと確信していますが、2時間以上たっても私の単純なgzipコマンドはまだですまだ完成してない。 要約すれば: tar -cvf myStuff.tar myDir/* 87 Gのtarファイルを作成するのに5分未満かかりました gzip myStuff.tar 55G zipファイルを作成して、2時間10分かかりました。 私の質問:これは正常ですか?gzip物事をスピードアップするための特定のオプションはありますか?コマンドを連結して使用する方が速いでしょうtar -cvfzか?私はへの参照を見たpigz- のgzipの並列実装をのでそれは私のためのオプションではありませんが、残念ながら私は私が使用しているマシンにソフトウェアをインストールすることはできません- 。たとえば、この前の質問を参照してください。 私はこれらのオプションのいくつかを自分で試して時間を計ります-しかし、オプションの「魔法の組み合わせ」に当たらない可能性が高いです。このサイトの誰かが物事をスピードアップするための正しいトリックを知っていることを望んでいます。 他のトライアルの結果が利用可能になったら、この質問を更新します-しかし、誰かが特に良いトリックを利用できるなら、本当に感謝します。おそらくgzipの処理時間は、私が思っていたよりも長くなります... 更新 約束されたように、圧縮の量を変更し、ファイルの宛先を変更するという、以下に提案するトリックを試しました。約4.1GBのtarに対して次の結果が得られました。 flag user system size sameDisk -1 189.77s 13.64s 2.786G +7.2s -2 197.20s 12.88s 2.776G +3.4s -3 207.03s 10.49s 2.739G +1.2s -4 223.28s 13.73s 2.735G +0.9s -5 237.79s …