Windows Server 2012 R2は356GBから1.32GBに重複しました


13

Server 2012 R2ストレージスペースで重複排除を試しています。昨晩、最初の重複排除の最適化を実行しましたが、340GBの削減を要求していることがわかりました。

ここに画像の説明を入力してください

しかし、私はこれがあまりにも良いことだと知っていました。そのドライブでは、重複排除の100%がSQL Serverバックアップから発生しました。

ここに画像の説明を入力してください

フォルダー内にその20倍のサイズのデータ​​ベースバックアップがあることを考えると、これは非現実的です。例として:

ここに画像の説明を入力してください

13.3GBのバックアップファイルが0バイトに重複排除されていると考えられます。そしてもちろん、そのファイルをテスト復元したとき、実際には機能しません。

傷害に侮辱を追加するには、そこにあるデータのほとんどTBあり、そのドライブ上の別のフォルダである必要があり、多くの重複排除しているのではなく、持っています。

Server 2012 R2の重複排除は機能しますか?


5
覚えておく必要があります。「もちろん、あなたが私を怒らせたのであなたのデータを削除しませんでした。それを0バイトに重複排除しました。すべてです。」
HopelessN00b

ある夜から次の夜までデータが比較的同じであると仮定して重複除去を行っている可能性はありますか。つまり、最初と最後のバックアップがある場合、毎晩、VSSなどの違いのスナップショットしかありません。理論的には、最初と最後のコピーでファイルを途中で再生成するのに十分な場合、0に削除することが可能かもしれません。しかし、それは復元に失敗したので、説明としてあなたが思いついたものを見るのを待つつもりです。しかし、あなたのテストは有望ではありません
。– MikeAWood

@MikeAWoodは、まったく異なるデータベースバックアップも0バイトに重複排除しましたが、これは間違いなく間違いです。私が重複排除を望んでいたことの1つは、あなたが指摘したように、夜間のバックアップの90%が同一であることです。
マークヘンダーソン

@MarkHenderson新しいドライブをセットアップして、そこにすべてをコピーした場合、それは動作しますか?ただぼんやり推測します。たぶん、初期データを確認するプロセスを実行する必要があるか、正しく動作しない場合のDFSに似ています。あなたの結果は奇妙で、疑いの余地はありません。うまくいけば、あなたはそれを理解し、私は何が起こったのか知りたいと思います
。– MikeAWood

@MikeAWood-私はそれを試しませんでした。私は以来、ドライブと異なる重複排除の設定でそれを再作成することを被爆しましたので、私は今夜何が起こるかわかりますとき、別のダンプの実行
マーク・ヘンダーソン

回答:


5

重複排除は機能します。

重複排除では、[ディスク上のサイズ]フィールドは無意味になります。ファイルはもはや通常の「ファイル」ではなく、再解析ポイントであり、実際のデータではなく、ファイルを再構築するための重複除去エンジンのメタデータを含みます。重複除去チャンクストアはボリュームごとであるため、ファイルごとの節約はできないため、ボリュームごとの節約しか得られないことを理解しています。 http://msdn.microsoft.com/en-us/library/hh769303(v=vs.85).aspx

他のデータがまだ重複排除されていない場合、重複除去ジョブはまだ完了していない可能性があります。超高速ではなく、デフォルトで時間制限があり、ハードウェアによってはリソースが制限される場合があります。サーバーマネージャーから重複除去スケジュールを確認します。

約1年間、さまざまなシナリオ(SCCM DP、さまざまな展開システム、汎用ファイルサーバー、ユーザーホームフォルダーファイルサーバーなど)で複数のシステム(Windows 2012 R2)に重複除去を展開しました。RTM以降、完全にパッチが適用されていることを確認してください。重複除去機能(累積更新と修正プログラムの両方)に対するいくつかのパッチを覚えています。

ただし、一部のシステムでは、ローカルシステム(IIS、シナリオによってはSCCM)の最適化されたファイルからデータを直接読み取ることができないという問題があります。yagmoth555で提案されているように、Expand-DedupFileを試して最適化を解除するか、ファイルのコピーを作成して(ターゲットファイルは次の最適化の実行まで最適化されません)、再試行する必要があります。 http://blogs.technet.com/b/configmgrteam/archive/2014/02/18/configuration-manager-distribution-points-and-windows-server-2012-data-deduplication.aspx https://kickthatcomputer.wordpress .com / 2013/12/22 / no-input-file-specified-windows-server-2012-dedupe-on-iis-with-php /

SQLバックアップが実際に破損している場合、それは別の問題が原因であり、重複排除テクノロジーに関連するものではないと考えています。


答えてくれてありがとう。あなたの答えは私自身の発見を反映しています。重複排除について誤解があり、テスト方法に欠陥がありました。
マークヘンダーソン

@共有できる誤解やテスト方法について何かマークしてください...?おそらくブログ投稿で?あなた(そして私)がどこを間違えたのか私には考えられないので、学ぶのは面白いでしょう。編集:私は今あなたの答えを見てきました...しかし、もしあればブログの記事は良い読書になるでしょう。
アシュリー

1
@AshleySteelもうブログを書くことはありません。むかしむかし。全体のものは基本的に私は、Windows Serverの重複排除がどのように機能するかを理解していないに降りてきた...
マーク・ヘンダーソン

2

この種の重複排除は不可能だと言って、私は銃を飛び越えたようです。どうやら、これらの非圧縮SQL Serverバックアップに加えて、ホストVMのVMWareスナップショットレベルのバックアップもあるため、まったく可能です。

yagmoth555が示唆したように、Expand-DedupeFileこれらの0バイトのファイルのいくつかを実行し、最後に完全に使用可能なファイルを取得しました。

次に、テスト方法を調べて、ファイルが良くないと判断した方法を確認し、テストに欠陥を見つけました(許可!)。

また、16進エディターで0バイトの重複排除されたバックアップファイルを開きましたが、すべて正常に見えました

そこで、テスト方法論を調整しましたが、すべてが実際に機能しているようです。私がそれを去ったとき、重複排除は実際に良くなり、重複排除のおかげで1.5TB以上のスペースを節約しました。

これを実稼働環境にプッシュする前に、より徹底的にテストしますが、今は有望に見えます。


0

はい。ただし、hypervクラスターdbが重複している場合のみ見ました。4tbから400g、VMが実行されていました。OSには完全にパッチが適用されました。

あなたのSQLバックアップファイルについては、あなたはそれを読むことができるダンプですか?内容を確認します。その部分については、asciiファイルをどのように削除したのか答えられません。


それらはバイナリファイルですが、既に述べたように、それらのファイルは完全に破損しています。実際に16進エディターで内容を確認しなかったので、そのドライブを無効にし、異なる重複排除パラメーターで再作成して、今夜何が起こるかを確認しました。
マークヘンダーソン

1
@MarkHendersonサイズが0であったため、重複除去メタデータのチャンク破損である可能性があります。「人気のあるチャンクは多数のファイルから参照されるため、重複排除は単一のチャンク破損の影響を引き起こします。1000個のファイルによって参照されるチャンクがセクターエラーのために失われると想像してください。 」cmd Expand-DedupFileは、それが悪い.bakまたは重複の破損であるかどうかを除外します
yagmoth555
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.