並列ファイルアーカイバ（tarなど）はありますか？

ファイルの並列アーカイブに何かありますか？

Tarはすばらしいですが、テープアーカイブは使用しません。smpがあるので、アーカイブが（bzip2のような圧縮を使用して）迅速に行われることがより重要です。

私はあなたがpbzip2を探していると思う：

PBZIP2は、pthreadを使用し、SMPマシンでほぼ線形の高速化を実現するbzip2ブロックソートファイルコンプレッサーの並列実装です。

見ているプロジェクトのホームページまたはお好みのパッケージリポジトリを確認してください。

7zipは、-mmtフラグを指定すると複数のスレッドで実行できますが、7zアーカイブに圧縮する場合に限られます。7zアーカイブは、優れた圧縮を提供しますが、一般的にアーカイブを作成するzipよりも低速です。このようなことをしてください：

7z a -mmt foo.7z /opt/myhugefile.dat

OPは、並列圧縮ではなく、並列アーカイブについて質問しました。

ソース素材が、異なるディレクトリ/ファイルが異なるディスク上にあるファイルシステム、または圧縮ツールの入力速度を超える単一の高速ディスクである場合、複数の入力ストリームを持つことは実際に有益です圧縮層に入ります。

意味のある質問は、並列アーカイブからの出力はどのように見えるかということです。単一のファイル記述子/ stdoutではなく、スレッドごとのファイル記述子になりました。

これまでの例としては、Postgresqlのパラレルダンプモードがあります。このモードではpg_dump、ディレクトリにダンプし、スレッドがバックアップするテーブルのセットを処理します（複数のスレッドがキューを消費するワークキュー）。

メインストリームである実際の並列アーカイバについてはわかりません。ZFSで使用するSolaris Tarのハッキングがありました：http : //www.maier-komor.de/mtwrite.html

複数のスレッドを正常に実行する専用のバックアップツールがいくつかありますが、それだけではなく、ディレクトリごとに高レベルでワークロードを分割します。

tar --use-compress-program=pigz  ....

pigzお好みの並列圧縮プログラムに置き換えてください。使用する理由tarは、所有者、グループ、権限を保存できるためです。多くの場合、そのメタデータは便利です（たとえば、複雑なシステムでディレクトリツリーを復元する）。

pigzはgzipの並列実装ですが、実際には圧縮ではなく、圧縮ではなく複数のプロセッサのみを使用できます。

tarは、ファイルを正確に複製し、ディレクトリツリーと元のファイル属性を保持するのに非常に優れた単純なアーカイブ形式です。TARは、すべてが保存されるため、バックアップの作成に非常に適しています。私が使用しpbzip2、私は非常に良い結果で、システムのバックアップに使用されたtarアーカイブを圧縮します。

このコマンドでうまくいくはずです。

tar -cpS "infile" | pbzip2 > "outfile"

pbzip2 別の圧縮ユーティリティに置き換えることができますが、LZMA圧縮（pxzなど）は大きなファイルの圧縮/解凍時にRAMのトンを使用します（8GBのRAMで8つのスレッドを実行しようとし、pxzがディスクへのスワップを開始しました）。

別の候補はlbzip2です。pbzip2と非常によく似ています

圧縮xzについては、バージョン5.2が-Tオプションによる並列圧縮をサポートしているためです。