ZFS重複排除のRAM要件の計画に関する多くの情報を読みました。ファイルサーバーのRAMをアップグレードして、スナップショットとクローンを使用できない（別のファイルシステムとしてフォーマットされたzvolである）ZFS zvolの非常に限られた重複除外をサポートしますが、多くの重複データが含まれます。
私が追加した新しいRAMが、私がやろうとしている限られた重複排除をサポートすることを確認したいと思います。計画では、私の数字は良さそうですが、確認したいです。
ライブシステムのZFS重複排除テーブル（DDT）の現在のサイズを確認するにはどうすればよいですか？私はこのメーリングリストのスレッドを読みましたが、それらがどのようにしてこれらの番号に到達しているかについてはわかりません。（zdb tank必要に応じて出力を投稿できますが、他の人を助けることができる一般的な答えを探しています）
回答:
このzpool status -D poolnameコマンドを使用できます。
出力は次のようになります。
root@san1:/volumes# zpool status -D vol1
pool: vol1
state: ONLINE
scan: scrub repaired 0 in 4h38m with 0 errors on Sun Mar 24 13:16:12 2013
DDT entries 2459286, size 481 on disk, 392 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 2.23M 35.6G 19.0G 19.0G 2.23M 35.6G 19.0G 19.0G
2 112K 1.75G 1005M 1005M 240K 3.75G 2.09G 2.09G
4 8.03K 129M 73.8M 73.8M 35.4K 566M 324M 324M
8 434 6.78M 3.16M 3.16M 4.61K 73.8M 35.4M 35.4M
16 119 1.86M 811K 811K 2.33K 37.3M 15.3M 15.3M
32 24 384K 34.5K 34.5K 1.13K 18.1M 1.51M 1.51M
64 19 304K 19K 19K 1.63K 26.1M 1.63M 1.63M
128 7 112K 7K 7K 1.26K 20.1M 1.26M 1.26M
256 3 48K 3K 3K 1012 15.8M 1012K 1012K
512 3 48K 3K 3K 2.01K 32.1M 2.01M 2.01M
1K 2 32K 2K 2K 2.61K 41.7M 2.61M 2.61M
2K 1 16K 1K 1K 2.31K 36.9M 2.31M 2.31M
Total 2.35M 37.5G 20.1G 20.1G 2.51M 40.2G 21.5G 21.5G
重要なフィールドがある総割り当てられたブロックとの合計で参照ブロック。上記の例では、重複排除率が低くなっています。40.2Gは、ディスクの37.5Gのスペースに保存されます。または235万ブロック分のスペースに251万ブロック。
テーブルの実際のサイズを取得するには、以下を参照してください。
DDTエントリ2459286、ディスク上のサイズ481、コア内の392
2459286 * 392 = 964040112バイト1024および1024で除算すると、RAMで919.3MBになります。
元のメールスレッドとそれを明確にした@ewwhiteの回答を読んだ後、上記の回答は半分しかカバーしていないため、この質問には更新された回答が必要だと思います。
例として、プールの出力を使用しましょう。コマンドを使用しましたzdb -U /data/zfs/zpool.cache -bDDD My_pool。私のシステム-Uでは、プールのZFSキャッシュファイルを見つけるために追加の引数が必要でした。FreeNASは通常とは異なる場所に保存します。あなたはそれをする必要があるかもしれません。通常、最初にzdbせずに試してみてください。-Uキャッシュファイルエラーが発生した場合は、などfind / -name "zpool.cache"を使用して必要なファイルを見つけてください。
これは私の実際の出力であり、以下で解釈しました。
DDT-sha256-zap-duplicate: 771295 entries, size 512 on disk, 165 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
2 648K 75.8G 68.6G 68.8G 1.39M 165G 149G 149G
4 71.2K 8.07G 6.57G 6.62G 368K 41.7G 34.1G 34.3G
8 28.1K 3.12G 2.34G 2.36G 281K 31.0G 23.1G 23.4G
16 5.07K 424M 232M 241M 110K 9.10G 5.06G 5.24G
32 1.09K 90.6M 51.8M 53.6M 45.8K 3.81G 2.21G 2.28G
64 215 17.0M 8.51M 8.91M 17.6K 1.39G 705M 739M
128 38 2.12M 776K 872K 6.02K 337M 118M 133M
256 13 420K 21.5K 52K 4.63K 125M 7.98M 18.5M
512 3 6K 3K 12K 1.79K 3.44M 1.74M 7.16M
1K 1 128K 1K 4K 1.85K 237M 1.85M 7.42M
2K 1 512 512 4K 3.38K 1.69M 1.69M 13.5M
DDT-sha256-zap-unique: 4637966 entries, size 478 on disk, 154 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 4.42M 550G 498G 500G 4.42M 550G 498G 500G
DDT histogram (aggregated over all DDTs):
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 4.42M 550G 498G 500G 4.42M 550G 498G 500G
2 648K 75.8G 68.6G 68.8G 1.39M 165G 149G 149G
4 71.2K 8.07G 6.57G 6.62G 368K 41.7G 34.1G 34.3G
8 28.1K 3.12G 2.34G 2.36G 281K 31.0G 23.1G 23.4G
16 5.07K 424M 232M 241M 110K 9.10G 5.06G 5.24G
32 1.09K 90.6M 51.8M 53.6M 45.8K 3.81G 2.21G 2.28G
64 215 17.0M 8.51M 8.91M 17.6K 1.39G 705M 739M
128 38 2.12M 776K 872K 6.02K 337M 118M 133M
256 13 420K 21.5K 52K 4.63K 125M 7.98M 18.5M
512 3 6K 3K 12K 1.79K 3.44M 1.74M 7.16M
1K 1 128K 1K 4K 1.85K 237M 1.85M 7.42M
2K 1 512 512 4K 3.38K 1.69M 1.69M 13.5M
Total 5.16M 638G 576G 578G 6.64M 803G 712G 715G
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39
それがすべてを意味し、実際の重複除去テーブルのサイズを計算します：
出力には、重複が存在するブロック（DDT-sha256-zap-duplicate）と重複が存在しないブロック（DDT-sha256-zap-unique）/の2つのサブテーブルが表示されます。それらの下の3番目の表は、これら両方の全体の合計を示し、その下に要約行があります。「合計」行と概要だけを見ると、必要なものがわかります。
複数回現れるすべてのブロックのDDTサイズ （ "DDT-sha256-zap-duplicate"）：
771295 entries, size 512 bytes on disk, 165 bytes in RAM ("core")一意のブロックのDDTサイズ （「DDT-sha256-zap-unique」）：
4637966 entries, size 478 bytes on disk, 154 bytes in RAM ("core")すべてのDDTエントリの合計DDT統計、重複+一意 （「すべてのDDTで集約されたDDTヒストグラム」）：
allocated referenced (= disk space actually used) (= amount of data deduped into that space) ______ ______________________________ ______________________________ blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE Total 5.16M 638G 576G 578G 6.64M 803G 712G 715Gまとめ：
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39
いくつかの計算処理をしましょう。
ブロック数は次のように機能します。重複ブロックに関連するエントリの数= 771295、一意のブロックに関連するエントリの数= 4637966、DDTテーブルの合計エントリは771295 + 4637966 = 5409261である必要があります。つまり！）は5409261 /（1024 ^ 2）= 515万8800です。要約では、合計516万ブロックがあります。
必要なRAMは次のように機能します。重複ブロックの771295エントリはそれぞれ165バイトのRAMを占有し、一意のブロックの4637966エントリはそれぞれRAMの154バイトを占有します。 （1024 ^ 2）メガバイト= 803メガバイト= RAMのGB 0.78。
（使用されるディスク上のサイズは、「ディスク上のサイズ」の数字を使用して同じように計算できます。明らかに、ZFSはディスクI / Oを効率的に使用し、DDTによって占有されるディスク容量が通常は問題ではありません。したがって、ZFSは、効率を維持するために、154または165バイトではなく、各エントリに完全な512バイトセクターまたはそれらの行に沿って何かを単に割り当てているように見えます。ディスクに保持されているコピー。ZFSは通常これを行います。）
格納されるデータの合計量と重複排除の利点：合計DDT統計から、ディスク上の割り当てられたストレージのわずか578 Gバイト（「578G」）を使用して、715 Gバイト（「715G」）のデータが格納されます。したがって、重複除去スペースの節約率は（715 GBのデータ）/（重複除去後に使用される578 GBのスペース） = 1.237 xです。これは、要約からわかることです（ "dedup = 1.24"）。