タグ付けされた質問 「deduplication」

ZFS重複排除のRAM要件の計画に関する多くの情報を読みました。ファイルサーバーのRAMをアップグレードして、スナップショットとクローンを使用できない（別のファイルシステムとしてフォーマットされたzvolである）ZFS zvolの非常に限られた重複除外をサポートしますが、多くの重複データが含まれます。 私が追加した新しいRAMが、私がやろうとしている限られた重複排除をサポートすることを確認したいと思います。計画では、私の数字は良さそうですが、確認したいです。 ライブシステムのZFS重複排除テーブル（DDT）の現在のサイズを確認するにはどうすればよいですか？私はこのメーリングリストのスレッドを読みましたが、それらがどのようにしてこれらの番号に到達しているかについてはわかりません。（zdb tank必要に応じて出力を投稿できますが、他の人を助けることができる一般的な答えを探しています）

21 linux  solaris  zfs  memory-usage  deduplication 

シナリオ： このサーバーフォールトガイド：Robocopyを使用したファイルサーバーの移行に従って、古いサーバー2008 R2から新しいサーバー2016 へのサーバー移行を行う Robocopyが完了したら、コピーされたボリュームのServer 2016で重複排除を有効にしてから、PowerShellを使用して手動で重複除去を開始します。数時間後に完了し、ディスク容量の約25％を回復します。 Robocopyを再度実行して、新しいサーバーの最終チェックとして、最初のコピーで欠落した可能性のあるものをすべてコピーします。 ....ただし、Robocopy（Server 2016から実行）は重複排除を理解していないため、重複排除チャンクストアを破棄します。 ------------------------------------------------------------------------------- ROBOCOPY :: Robust File Copy for Windows ------------------------------------------------------------------------------- Started : Sunday, July 8, 2018 12:10:02 PM Source : \\SERVER-2008\e$\ Dest : \\SERVER-2016\e$\ Files : *.* Options : *.* /TEE /S /E /COPYALL /PURGE /MIR /ZB /NP /MT:32 /R:1 /W:10 ------------------------------------------------------------------------------ …

13 windows-server-2016  robocopy  corruption  deduplication 

Server 2012 R2ストレージスペースで重複排除を試しています。昨晩、最初の重複排除の最適化を実行しましたが、340GBの削減を要求していることがわかりました。 しかし、私はこれがあまりにも良いことだと知っていました。そのドライブでは、重複排除の100％がSQL Serverバックアップから発生しました。 フォルダー内にその20倍のサイズのデータ​​ベースバックアップがあることを考えると、これは非現実的です。例として： 13.3GBのバックアップファイルが0バイトに重複排除されていると考えられます。そしてもちろん、そのファイルをテスト復元したとき、実際には機能しません。 傷害に侮辱を追加するには、そこにあるデータのほとんどTBあり、そのドライブ上の別のフォルダである必要があり、多くの重複排除しているのではなく、持っています。 Server 2012 R2の重複排除は機能しますか？

13 windows-server-2012-r2  deduplication  storage-spaces 

Windows Server 2012にはNTFSボリュームの重複排除機能が搭載されているため、技術的な詳細を見つけるのに苦労しています。TechNetのドキュメントから、重複排除アクション自体は非同期プロセスであると推定できます-SIS Grovelerの動作方法とは異なりますが、実装（アルゴリズムの使用、必要なリソース、パフォーマンスに関する情報までも）について実質的に詳細はありません考慮事項は、大まかな経験則スタイルの推奨事項にすぎません）。 洞察と指針は大歓迎であり、一連のシナリオでのSolarisのZFS重複排除効率との比較は素晴らしいことです。

12 zfs  windows-server-2012  deduplication 

12個のミッドライン（7200 RPM）SASドライブを搭載したHP ProLiant DL180 G6で実行されているセカンダリストレージサーバーでNexentastorを使用しています。システムにはE5620 CPUと8GB RAMがあります。ZILまたはL2ARCデバイスはありません。 先週、750 GBのスパースzvolを作成し、重複除去と圧縮を有効にしてiSCSI経由でVMWare ESXホストと共有しました。次に、Windows 2008ファイルサーバーイメージを作成し、約300 GBのユーザーデータをVMにコピーしました。システムに満足したら、仮想マシンを同じプールのNFSストアに移動しました。 NFSデータストア上のVMで起動して実行したら、元の750GB zvolを削除することにしました。そうすると、システムが停止します。Nexenta WebインターフェイスとNMCへのアクセスが停止しました。最終的には生のシェルに到達することができました。ほとんどのOS操作は問題ありませんでしたが、システムはzfs destroy -r vol1/filesystemコマンドを停止していました。醜い。次の2つのOpenSolaris bugzillaエントリを見つけましたが、今度は、マシンが未知の期間ブリックされることを理解しています。14時間が経過しているため、サーバーへのアクセスを回復できるようにする計画が必要です。 http://bugs.opensolaris.org/bugdatabase/view_bug.do?bug_id=6924390 そして http://bugs.opensolaris.org/bugdatabase/view_bug.do;jsessionid=593704962bcbe0743d82aa339988?bug_id=6924824 将来的には、おそらくbuzillaの回避策の1つで与えられたアドバイスに従うでしょう。 Workaround Do not use dedupe, and do not attempt to destroy zvols that had dedupe enabled. 更新：システムの電源をオフにする必要がありました。再起動すると、システムはで停止しImporting zfs filesystemsます。それは今から2時間ずっとそうです。

11 nfs  zfs  opensolaris  nexenta  deduplication 

NetAppはブロックレベルの重複排除（ASIS）を提供します。Linux（またはOpenSolaris、* BSD）で同じ機能を提供するファイルシステム（FUSEベースであっても）を知っていますか？ （私はハードリンクのような誤った重複排除には興味がありません）。

10 linux  netapp  deduplication 

私は小さな会社のITすべてです。会社全体のバックアップポリシーを使用して、新しいサーバーと別のバックアップサーバーを含む新しいインフラストラクチャを設計したいと考えています。 会社で最も重要なことは、SQL Serverとそのデータベースです。データベースは10個ありますが、本当に重要なのは2つだけです。最初の1つは8 GBで、主にテキストデータと数値です。2つ目は約300 GBで、16 GB /月でPDFとGIFが含まれます。 ストレージを保存するには、現在のバックアップポリシーは1週間に1回の完全バックアップと6つの差分で構成されます。週あたり約350 GB、月あたり1.4 TBだと思います。 サイレントデータ破損に関する記事を読んだ後、Nexenta CommunityエディションでZFSを試すことにしました。 私の質問：重複排除を備えたZFSは、信頼性の観点からバックアップファイルを保存するのに適していますか、それともテープバックアップなどを検討する必要がありますか？ 編集：今のところ、パフォーマンス、重複排除率などを予測できないことはわかっていますが、それが良いアイデアかどうかを知りたいのです。

9 backup  storage  zfs  nexenta  deduplication 

Windows Server 2012マシンで重複排除されたボリュームが限界に近づいています。これは1.3 TBのドライブで、約10 TBの重複データがあります。このすべてのデータをより大きな4TBドライブにコピーしたいと考えています。 このコピーを実行して、10 TB全体をアンパックしてもう一方の端で再パックするのではなく、1.3 TBの重複排除されたデータのみをコピーするようにするための最良の方法は何ですか？ 編集：私は標準のエクスプローラーファイルコピーとCopy-Itemを試みましたが、どちらも重複排除対応ではないようです。私も最後まで走らなかったので、確かにそうだとは言えません。

8 windows-server-2012  windows  deduplication 

つまり、私は辞書の定義を調べることができますが、なぜ仮想テープライブラリに関連してみんなが突然それについて話しているのですか？最近ニュースになっているように、ここで「新しい」とは何ですか？

8 storage-area-network  tape  deduplication