問題の説明

NTFSドライブのwbadminで作成したWindowsディスクイメージを保存しています。NTFS圧縮で圧縮すると、1.5〜2倍のスペースを節約できますが、復元には完全な可用性が得られます。

しかし、圧縮の過程で、ファイルはめちゃくちゃに断片化します。通常、システムディスクイメージの場合は100,000断片を超えます。

このような断片化では、断片化の解消に非常に長い時間がかかります（画像ごとに数時間）。一部のデフラグツールでは処理できず、ファイルをスキップするかクラッシュするだけです。

問題の原因は、ファイルが個別に保存されるチャンクによって圧縮されていることだと思います。

質問

画像ファイルをデフラグして、圧縮したままにする（または極端な断片化を引き起こさずに圧縮する）ための適切な（高速な）方法はありますか？連続する空き領域にファイルをすばやくデフラグするユーティリティ、または既存の非圧縮から非フラグメント圧縮ファイルを作成するユーティリティ（または方法）があるのでしょうか。

コメント/回答に基づく備考：

1. 私の場合、（Windowsカーネルへの）外部圧縮ツールはオプションではありません。オンザフライでファイルを解凍することはできません（10 Gbのファイルを解凍するには、10 Gbが無料で必要です。システムがリカバリのためにDVDから起動しているときはアクセスできません（イメージが必要なときです）。のように、ntfsで透過的に圧縮されたファイルを作成しない限り、提供を停止してくださいcompact.exe。
2. NTFS圧縮は、システムイメージにとってそれほど悪くはありません。断片化を除いて、それはかなり良いです。また、解凍にはCPU時間はあまりかかりませんが、それでもIOボトルネックが減少します。これにより、適切な場合にパフォーマンスが向上します（断片化されていない、圧縮率が高いファイル）。
3. 最適化ユーティリティは、ファイルが圧縮されているかどうかに関係なく、ファイルを最適化します。唯一の問題はフラグメントの数です。フラグメント化されたファイルが圧縮されているかどうかに関係なく、最適化に失敗します。フラグメントの数が多くない場合（約10000は既に問題ありません）、圧縮ファイルはデフラグされ、圧縮されたままになります。

4. ファイルによっては、NTFS圧縮率が適切な場合があります。システムイメージは通常、最大で元のサイズの70％に圧縮されます。

   それらのスクリーンショットのペアは信じていませんが、独自のテストを行うことができます。

5. 私は実際に、NTFSで圧縮されたイメージ（断片化されたものと断片化されていないものの両方）からの復元を行いました。それは機能します。信頼できるか、自分で確認してください。rem：約1年前に見つけたように、Windows 8.1では機能しません。Windows 7、8、および10で動作します。

予想される答え：

Windows用の動作する方法またはプログラムは、

1. 大量のフラグメントを作成せずに（NTFS圧縮を使用してファイルをWindowsリカバリーにアクセスできるようにして）圧縮します（別のパーティションに作成するか、圧縮コピーを作成します。HDDでcompact+の3倍以上の高速でなければなりませんdefrag）。

   または

2. 100K +のフラグメントを含むファイルなど、破壊的に断片化されたファイルをすばやく（HDD上のWindowsのデフラグより少なくとも3倍速く）デフラグする（デフラグ後も圧縮されたままである必要がある）。

断片化を回避する

その秘訣は、そもそもディスク上に非圧縮ファイルを書き込まないことです。

実際、既存の大きなファイルを圧縮すると、NTFSインプレース圧縮アルゴリズムの性質により、ファイルは恐ろしく断片化されます。

代わりに、ディスクに書き込む前に、OSがファイルのコンテンツをその場で圧縮するようにすることで、この欠点を完全に回避できます。このようにして、圧縮ファイルは通常のファイルとしてディスクに書き込まれます-意図しないギャップはありません。このためには、圧縮フォルダーを作成する必要があります。（ファイルに圧縮のマークを付けるのと同じ方法で、フォルダーに圧縮のマークを付けることができます。）その後、そのフォルダーに書き込まれたすべてのファイルはその場で圧縮されます（つまり、圧縮ブロックのストリームとして書き込まれます）。この方法で圧縮されたファイルは、やや断片化する可能性がありますが、インプレースNTFS圧縮によって作成される混乱とはかけ離れたものになります。

例

NTFSで232 Mbのシステムイメージを125 Mbに圧縮：

• インプレース圧縮により、2680個のフラグメントが作成されました。
• オンザフライ圧縮により19個のフラグメントが作成されました。

デフラグ

NTFS圧縮ファイルが一部のデフラグツールに問題を引き起こす可能性があることは事実です。たとえば、私が通常使用するツールは、それらを効率的に処理することができません-それはクロールまで遅くなります。フレットはない、古い信頼できるコンティグからSysinternalsのは、迅速かつ簡単NTFS圧縮ファイルをデフラグの仕事をしていません！

ウィキペディアのNTFS圧縮に関する記事を読んでください。

ファイルは16クラスターのチャンクに圧縮されています。4 kBクラスターでは、ファイルは64 kBのチャンクに圧縮されます。圧縮によって64 kBのデータが60 kB以下に削減される場合、NTFSは不要な4 kBページを空のスパースファイルクラスターのように扱います-それらは書き込まれません。

これにより、妥当なランダムアクセス時間が可能になります。OSはフラグメントのチェーンをたどるだけです。

ただし、64 KB未満のすべてのチャンクがフラグメントになるため、大きな圧縮可能ファイルは高度にフラグメント化されます。

まず最初に。WBAdminは、本質的に、システム全体をカム復元するバックアップユーティリティです。そのため、出力ファイルは大きい（> 4 Gb）と予想されます。引用からわかるように、大きなファイルは急速に断片化されます。これは、NTFSの圧縮方法が原因です。ファイルではなく、セクターによって圧縮されます。

良い例えは、ケーキがいくつかの箱に分割されていることです。そのいくつかは空ではありません。これが初期ファイルです。圧縮部はケーキを絞り、箱の中にスペースを残します。ケーキの断片が一緒ではないため、作成されたスペースのために、ケーキを構成する断片は断片化します。

NTFSがそのような圧縮率を提供することについては、まだ懐疑的です。MaximumCompressionが複数のファイルに対して行ったテストによると、NTFSは圧縮率のスコアが最も低く、わずか40％です。個人的な経験から、それはそれよりはるかに低いと言うことができます。実際には非常に低いので、それを使用したり、効果を確認したりしていません。

断片化を回避する最善の方法は、NTFSへの依存をやめることです。ほとんどのデフラグは、圧縮ファイルの展開または移動に失敗します。どういうわけか、NTFSはファイルを拡張できなかった場合、または可能であれば、デフラグプロセスが圧縮からの残りのスペース（4kB）を埋めるため、拡張はファイルを断片化しません。隣接する前のクラスターに書き込まれます。

これは言われていることであり、ファイルを常に読み取る必要がない場合は、上記のリンクで推奨されている形式のいくつかを使用してください。7zとrarは非常に効率的です（つまり、適切な時間に高い比率で圧縮されます）。時間ではなくスペースを重視する場合は、PAQタイプのアルゴリズムを選択します（ただし、ファイルの圧縮と解凍には非常に長い時間がかかります）。利用可能な高速アルゴリズムもあります。

常にファイルを読み取る必要がある場合は、まったく圧縮しないでください。NTFSはあまりにも厄介です。

OPの要求とは厳密には一致しませんが、Paragonという名前のサードパーティソフトウェアを使用した経験は豊富です。NTFSは、定義上、ファイルを圧縮（または場合によっては書き込み）するときに、ファイルシステムをひどく破壊します。これは、複数のMFTエントリを消費するまで拡張されます。MicrosoftのNTFSドライバーは、ファイルが最適化されたときにこれをクリーンアップしません。したがって、サードパーティのツールが必要です。Paragonを使用すると、それ自体をOS（ISOイメージ）として起動するか、ターゲットファイルシステムにアクセスできる別のWindows OSにインストールできます。次に、MFTとファイルの両方を最適化できます。これは私の知る限り、ボリュームを再フォーマットする前に、NTFSのこの欠陥を修正する唯一の方法です。

（私が実際に機能することがわかったのはそれ以外は、ツールやその作成者とは関係ありません）

質問が表示されたように見えてから2年後の今日、重複排除をお勧めします。これにより、イメージが「わずかに」異なるだけであれば、90％以上のディスク節約が可能になります。VM内のW2016 Nano Serverは非常にうまく機能しますが、FreeNASやZFSを使用する他の何かでも処理できると思います。

Windowsは最近、ZIPファイルをフォルダーのように扱っています。NTFSとは異なり、ZIPファイルはNTFSで圧縮されたファイルよりも圧縮され、本質的に断片化されません。

ZIP形式の7-zipで圧縮してディスクイメージの1つをテストし、復元に直接使用できるかどうかを確認しませんか？

そうでない場合は、7-zip圧縮パラメーターを試して、7zなどの最適な形式を使用して圧縮を最大化します。NTFSをはるかに超えて圧縮率を上げることができるため、ディスクで使用可能な領域を大幅に増やすことができます。ただし、2番目の物理ディスクまたはRAMに解凍するのが最も高速ですが、できれば別のコントローラーとIOケーブルを使用してください。

FWIW、圧縮はシステムディスクと非メディアファイルの非サンドマンSSDに見返りがあります-SSDの消耗が少なく、スペースが大きく、非圧縮ファイルのI / Oが高速です。http://www.tomshardware.com/reviews/ssd-ntfs-compression,3073-9.htmlを参照してください

ビデオ、グラフィックス、およびその他の圧縮データファイル（.XLSXなど）は既に非常に圧縮されているため、NTFS圧縮によるメリットはありません。また、データベースやOutlookメールをランダムに更新することもできません。しかし、実行可能ファイル、txt、htmlなどのファイルには大きなメリットがあります。

圧縮は、小さなファイルに対しても常にメリットがあります。たとえば、64K未満の圧縮の場合、フラグメントは1つだけです。ディスクの問題が発生した場合、面倒なのはリカバリのみです。