タグ付けされた質問 「zfs」

現在、毎晩ZFSベースのNASのスナップショットを撮っています。これにより、数回、お尻が救われました。ただし、スナップショットの作成は（cronから）自動で行われますが、古いスナップショットの削除は依然として手動のタスクです。明らかに、バスに衝突したり、手動タスクが実行されなかったりすると、NASのディスク容量が不足するリスクがあります。 ZFSシステムに保存されているスナップショットの数を管理するために使用する良い方法/スクリプトはありますか？理想的には、特定のZFSファイルシステムのすべてのスナップショットを反復処理し、そのファイルシステムの最後のn個を除くすべてのスナップショットを削除するスクリプトが必要です。 たとえば、2つのファイルシステムがあります。1つはを呼び出しtank、もう1つはを呼び出しsastankます。スナップショットには、作成された日付の名前が付けられます。sastank@AutoD-2011-12-13したがって、簡単なsortコマンドでスナップショットを順番にリストする必要があります。過去2週間分の毎日のスナップショットをオンtankにしたいのですが、最後の2日間分のスナップショットのみをオンにしsastankます。

24 solaris  zfs  snapshot 

この質問は、サーバー障害で回答できるため、スーパーユーザーから移行されました。 7年前に移行され ました。 私はまだZFSが初めてです。私はNexentaを使用していますが、OpenIndianaまたはSolaris 11 Expressに切り替えることを考えています。現在、ZFSサーバーをESXi、Hyper-V、XenServerのいずれかのゲストとして仮想化することを検討しています（VMDirectPathとFreeBSDのサポートについてはESXiにまだ傾いています）。 主な理由は、1〜3個の他のVMを同時に実行できるようにするために、十分なリソースがあるように見えることです。主にWindows Server。Linux / BSD VMでもあるかもしれません。仮想化されたZFSサーバーが他のVMのすべてのデータをホストし、それらのデータがZFSディスク（iscsiまたはnfsとしてマウント）とは物理的に別のディスクに保持されるようにしたいと思います。 サーバーには現在、合計6コア（2ロック解除）、16 GB RAM（最大）のAMD Phenom IIと、1 TB SATA IIディスク（7）が接続されたLSI SAS 1068E HBAがあります（ホットスペアを備えたRAIDZ2で計画）。また、マザーボードに（4）32GB SATA II SSDを接続しています。2つのSSDをブートミラー（仮想ホスト用）にミラーリングし、他の2つのSSDをZILおよびL2ARC（ZFS VMゲスト用）のままにしておきたいと考えています。VMゲストを格納するためにさらに2つのディスクを追加し、現在の7つのディスクすべてをZFSストレージとして割り当てます。注：マザーボードはないではない 880Gがそれをサポートしていないとして、IOMMUをサポートしているが、私はそれが大きな違いを行う場合IOMMUを持ってい890FXボードを持っています。 私の質問は： 1）これを行うのは賢明ですか？明らかにマイナス面はありません（だから他の誰もそれについて言及していないのではないかと思います）。私は巨大な監視をすることができると感じているので、私はこれにコミットすることを嫌います。 2）ZFS仮想ゲストのパフォーマンス？小さなパフォーマンスヒットを望んでいますが、VMゲストがディスクへのフルディスクアクセスを持っている場合、少なくともディスクI / Oパフォーマンスは無視できると思います（仮想化されていないZFSを実行する場合と比較して） 。VMゲストとしてZFSサーバーをホストしている経験から、これについて話すことができますか？

23 virtualization  hardware  storage  zfs  nexenta 

再構築中にUREが発生する可能性が大きくなるという大きなドライブに関する議論を理解していますが、これが実際に何を意味するのかわかりません。この回答は、再構築全体が失敗したと言っていますが、これはすべてのデータにアクセスできないことを意味しますか？どうしてですか？確かに、ドライブ上の単一のセクターからの単一のUREは、せいぜい少数のファイルに関連するデータにのみ影響します。いくつかのファイルにわずかな破損があるだけで、アレイはまだ再構築されませんか？ （ここでは特にZFSのRAID5の実装に興味がありますが、論理はどのRAID5実装でも同じようです。）

23 raid  zfs  zfsonlinux 

この質問は、サーバー障害で回答できるため、スーパーユーザーから移行されました。 7年前に移行され ました。 主な参考文献 ZFS L2ARC（Brendan Gregg）（2008-07-22）およびZFSおよびハイブリッドストレージコンセプト（Anatol Studlerのブログ）（2008-11-11）には次の図が含まれています。 質問 SSDレイヤーでの縦の白い線を、別の SSD を使用するための優先事項として解釈する必要がありますか？ 単一のディスクでL2ARCとZILを混在させない設定 背景（コメントへの応答） 個人的には、自宅では、利用可能なコンピューターでL2ARCまたはZILを使用することはほとんどありません。（私の日常のコンピューターは、8 GBのメモリとハイブリッドSeagate ST750LX003-1AC154を搭載したMacBookPro5,2です。光学ドライブをSSDに置き換える予定はありません。） 他の場所：職場ではキットの再利用がありますが、日付や詳細はありません。（ミックス内のXserve RAID x2…現時点では、これらをZFSに提供することは考えていませんが、心を開いています。） L2ARCとZILの両方に対するSSDのベストプラクティスについての私の好奇心は、ZEVO領域でのパフォーマンス関連の議論（特に、ユーザーが1つのディスクにL2ARCとZILの両方を持っている以下のトピック）を追うことから始まりました。 その他の参照と議論 L2ARCスクリーンショット（Brendan Gregg）（2009-01-30） SLOGスクリーンショット（Brendan Gregg）（2009-06-26） [zfs-discuss] ZFSルートバックアップ/「災害」復旧、およびルートプールの移動（2011-01-10 ）は、単一のディスク上の3つの要素（ルートプール、ZIL、およびL2ARC）の混合に対して推奨します– …同じディスク上で3つすべてを管理しようとしたときに発生する可能性のある頭痛の価値はありません。たとえば、データプールのZILのコンテンツを再インストールして誤って上書きすることにした場合。管理と復旧を簡単にするために、プールコンポーネント用またはプール間でディスクを共有しないでください。… – 1 つのディスクにこれらの2つを混在させないことをお勧めしますか？ /superuser//a/238744/84988（2011-01-28）は、「キャッシュ（L2ARCキャッシュ）およびSSDへのログ（ZIL）の書き込み」（単数形）について言及しています。ただし、FUSEとWindowsに関連するため、ZFSのより一般的でパフォーマンス重視の使用に特に関連するものとしてその答えを扱いません。 @ChrisSは、2011年8月16 日のThe Comms RoomでZILと L2ARC について言及しました。 http://forums.macrumors.com/showpost.php?p=14248388（2012-01-31）は複数の SSD について説明しています： ZFSについて理解する必要があるもの：通常、SSDに格納される2種類のキャッシュ、読み取りおよび書き込み（L2ARCおよびZIL）があります。ZILは書き込みキャッシュです。おそらく、この誤解はどこから来たのでしょう。ZILは、zpoolに発生するすべての書き込みでハンマーで攻撃されます（アクティブなシステムを想定）。問題は、ZILとしてmlcベースのSSDを使用すると、それらがすぐに磨耗して故障することです。ZILドライブとして使用するには、（はるかに高価な）slcベースのSSDが必要です。 zpoolを完全にSSDで構成することは可能であるだけでなく、非常にうまく機能します。また、基本的に、ZILとL2ARCに別々のドライブを使用する必要がなくなります。はい、TRIMサポートはありませんが、ZFSのコピーオンライトの性質に基づいて、それはおそらく良いことです。 そうは言っても、ZFSはほぼフル（たとえば、85％以上）のzpoolではうまく機能しません。回転磁気メディアまたはソリッドステートのどちらを使用しているかに関係なく、パフォーマンスは大幅に低下し始めます。TRIMサポートの欠如はおそらくその問題を悪化させるでしょうが、それはすでに問題です。 /server//a/397431/91969（2012-06-11）が推奨するもの： ZIL用のSLCタイプSSD（特にMLCではない） L2ARC用のMLCタイプSSD。 /superuser//a/451145/84988（2012-07-19）は、「ZILを高速化するためのZILおよびL2ARCのSSD」という単数形について言及しています。 …

22 ssd  cache  zfs 

私はコンピューティングで40年を過ごしましたが、このようなサーバーを構築する必要はなかったので、これはn00bの質問かもしれません。 ダウンロード用に超高解像度の音楽ファイルを提供するクライアントがあります。この場合、FLACで圧縮された24 / 192Khz =〜10GB /アルバムを意味します。（いいえ、製品の望ましさについて議論したくはありません。サーバーの構成だけです。）カタログは、約3,000枚のアルバムで、超高低バージョン（iPodの場合）の両方で、約35〜40 TB程度のプライマリデータ。 これは非常に特殊な製品であるため、市場規模は比較的小さく（オーディオシステムに2万ドル以上を費やす人々）、ほとんどの場合、サーバーは100％アイドル（またはそれに近い状態）になります。ColocationAmericaが提供する1 Gbps接続と帯域幅約$ 20 / TBの優れたコロケーションオファーのようなものがあるので、今は商品を配達するための箱を作る必要があります。 データアクセスのユースケースは、1回書き込み/複数読み取りなので、ドライブのペアにソフトウェアRAID 1を使用することを考えています。これは私を許可します（私は思うことにより、いくつかのシステム管理者がシステム（彼らは無料のスワップアウトを行う）に赤色光を気づく前に、2番目のドライブの再構築を開始することができるという、オンザフライで失敗したもののために再構成スペアドライブに）。ほとんどのドライブが必要ない場合、ほとんどのドライブをスリープ/スピンダウンできるようになれば、それは素晴らしいことです。 計算能力の面ではあまり必要ありません-これはパイプに脂肪質のオブジェクトを押し込むだけです。したがって、この数のドライブをサポートできる限り、CPU /マザーボードはかなり控えめになります。 現在、次の構成を検討しています。 Chasis: Supermicro CSE-847E26-RJBOD1 Drives: 30 4TB SAS drives (Seagate ST4000NM0023 ?) MB: SUPERMICRO MBD-X10SAE-O w/ 8GB CPU: Xeon E3-1220V3 3.1GHz LGA 1150 80W Quad-Core Server だから、私は正しい方向に進んでいますか、またはこれは問題にアプローチする完全にn00b /恐竜の方法ですか？ 更新して、いくつかのポイントを明確にします。 私が所有した最後のSun製品は80年代後半に戻っていたため、ZFSの経験はありません。それが正しいかどうかを確認するために、少しRTFMingを行います。 ファイル名は単純なUUIDになり、オブジェクトはドライブ全体でバランスがとられるため（大規模なキャッシュシステムのように）、ファイルシステムが目を見張るようなことをする必要はありません。だから、私はこれらを40の独立したファイルシステムと本当に考えていたので、RAID 1が適切に聞こえるようになりました（ただし、ここでは無知を認めます）。 私たちの現在の期待は、一度に数ダース以上のファイルをダウンロードする可能性は低いことであり、ほとんどの場合、特定のファイルをダウンロードするのは1人だけであるため、大量のメモリが必要かどうかはわかりませんバッファ用。8GBは少し軽いかもしれませんが、128GBがエネルギーを消費する以上のことをするとは思いません。 ここには記載されていない2つの個別のマシンがあります。現在のWebストア、およびすべての認証、新製品の取り込み管理、ポリシーの施行（結局、これは …

21 zfs  software-raid  sas 

ZFS重複排除のRAM要件の計画に関する多くの情報を読みました。ファイルサーバーのRAMをアップグレードして、スナップショットとクローンを使用できない（別のファイルシステムとしてフォーマットされたzvolである）ZFS zvolの非常に限られた重複除外をサポートしますが、多くの重複データが含まれます。 私が追加した新しいRAMが、私がやろうとしている限られた重複排除をサポートすることを確認したいと思います。計画では、私の数字は良さそうですが、確認したいです。 ライブシステムのZFS重複排除テーブル（DDT）の現在のサイズを確認するにはどうすればよいですか？私はこのメーリングリストのスレッドを読みましたが、それらがどのようにしてこれらの番号に到達しているかについてはわかりません。（zdb tank必要に応じて出力を投稿できますが、他の人を助けることができる一般的な答えを探しています）

21 linux  solaris  zfs  memory-usage  deduplication 

backupz4つのSCSIドライブで構成されるzpoolを備えたOpenSolarisサーバーがあります。 -bash-3.2# zpool status backupz pool: backupz state: ONLINE scrub: none requested config: NAME STATE READ WRITE CKSUM backupz ONLINE 0 0 0 raidz1 ONLINE 0 0 0 c7t0d0 ONLINE 0 0 0 c7t1d0 ONLINE 0 0 0 c7t2d0 ONLINE 0 0 0 c7t3d0 ONLINE 0 0 0 errors: No …

21 solaris  zfs  raidz 

私が持っているいくつかの新しいサーバーで使用するOSとファイルシステムを検討しており、ZFSを使用したFree BSD、またはBTRFSを使用したLinuxのいずれかを検討しています。 私が両方のシステムで実行したプログラムなので、唯一の問題はファイルシステムとパフォーマンスなどの信頼性です。

21 zfs  btrfs 

今日プールをスクラブしましたが、スクラブが終了した後、ファイルを破損するエラーがあることに気付きました。ファイルを気にしなかったので、削除しました。残念ながら、エラーは残り（ファイル名ではなく16進IDで参照される）、クリアする方法がわかりません。 心配する必要がありますか？私はまだこのエラーから本当に自由ではないのですか？ エラーをクリアできますか？ファイルがなくなった場合、今後このエラーが表示されることはありません。 参考のために、私が発行したコマンドと出力を注釈付きで示します。 状態の確認 kevin@atlas:~$ sudo zpool status -v pool: zstorage state: ONLINE status: One or more devices has experienced an error resulting in data corruption. Applications may be affected. action: Restore the file in question if possible. Otherwise restore the entire pool from backup. see: zfsonlinux.org/msg/ZFS-8000-8A scan: scrub …

20 zfs  zfsonlinux 

RAID10構成の4x 2TB WD RE4-GPドライブを備えたNASサーバーがあります（4TB使用可能）。スペースが不足しています（使用可能なスペースが1 TB未満です）。私は、より大きな/より多くのドライブ/エンクロージャーに費やす$ 0を持っています。 ZFSのデータ整合性機能について読んだものが気に入っています。それだけで、既存のXFS（ソフトウェア）RAID10から切り替えるのに十分です。次に、ZFSのRAID5の優れた実装について読んだので、RAIDZ-1を使用すると、最大2TBの使用可能スペースを掘り出し物にすることができると考えました。 しかし、私は読み続け、よりとより多くの ポストはほとんどちょうどRAIDZ-1を使用しないと言って。RAIDZ-2 +のみが、「現実の」ドライブ障害を処理するのに十分な信頼性があります。もちろん、私の場合、RAIDZ-2は意味をなしません。単一のプール（RAID10）で2つのミラー化されたvdevを使用することをお勧めします。 4x 2TBドライブにRAIDZ-1を使用したいのですか？ 2つのミラー化されたvdev（基本的にRAID10）のプールを使用し、圧縮によって十分な追加スペースが得られることを期待する必要がありますか？ いずれにしても、圧縮を使用する予定です。RAMは最大8GBしかありませんので、重複除去はオプションではありません。 これは、ZFS-on-Linuxの安定性の問題を回避するために、FreeNASサーバー（現在のUbuntu OSを置き換えようとしている）上にあります。

18 zfs  freenas  raidz 

私のグループには現在、2台の大型ストレージサーバーがあり、どちらもNASがdebian linuxを実行しています。1つ目は、数年前のオールインワン24ディスク（SATA）サーバーです。2つのハードウェアRAIDが設定されており、それらの上にLVMがあります。2番目のサーバーは、4つのエンクロージャーに分割された64個のディスクで、それぞれが外部SASを介して接続されたハードウェアRAID 6です。XFSとその上のLVMを使用して、100 TBの使用可能なストレージを作成します。これらはすべてうまく機能しますが、これらのシステムよりも成長しています。そのようなサーバーを2つ構築し、まだ成長しているので、将来の成長、バックアップオプション、ディスク障害下でより良い動作（より大きなファイルシステムのチェックには1日以上かかる）に関してより柔軟なものを構築できるようにしたい重度の並行環境で稼働します（小さなコンピュータークラスターを考えてください）。システム管理サポートはありませんが、 そのため、将来の成長と柔軟な構成を可能にする、比較的低コストで許容可能なパフォーマンスストレージソリューションを求めています（異なる動作特性を持つ異なるプールを備えたZFSを考えてください）。私たちはおそらく単一のNASの領域外にいるでしょう。ZFS（たとえばopenindiana）またはサーバーごとのbtrfsと、その上で実行するglusterfsの組み合わせについて考えてきました。私たちがそれに対して評価しているのは、単に弾丸をかみ、Isilonまたは3Parストレージソリューションに投資することです。 提案や経験は大歓迎です。

18 storage  storage-area-network  zfs  glusterfs 

明らかに、ドライブ全体が停止した場合、単一のディスク上のRAID-Zは役に立ちません。しかし、他のタイプのエラーはどうでしょうか？ 私の経験から、時々読めないファイルがあります。Mac OS Xでは、システムがしばらくハングした後、エラーが発生します。私はファイルを邪魔にならない場所に移動し、そのファイルには不良セクタまたは不良ブロック、あるいは不良トラック全体が含まれていると想定しています。 フロッピーディスクの時代にさかのぼりますが、ディスク障害を手作業で管理することは一般的な作業でした。もちろん、不良フロッピーはできるだけ早く交換しますが、すぐに交換できない場合があるため、不良領域を見つけてファイルに割り当て、そのファイルを削除しないようにします。 最初の質問は、ハードドライブがどのように故障するかです。上記の私の仮定は有効ですか？不良ブロックは不良になりますが、ドライブ全体がまだほとんど使用可能であるというのは本当ですか？その場合、RAID-Zは他のブロック（領域）のパリティを使用して、ディスクの不良ブロックまたは不良領域を修復できるようです。 ユースケースはバックアップ用です。週に1回8 TBドライブにデータをプッシュオフする場合、追加のパリティがビットの腐敗、不良セクタ、または他のローカライズされたドライブの障害？ 理論に技術的な欠陥がない場合、ZFSはこれを行うように構成できますか？ 編集：この質問を投稿する前に他の質問を見ました。各パーティションがグループ化されている個別のパーティションに分割することは1つのオプションです。しかし、概念的には、Nパーティションのブロックマップを互いに絡み合わせて、1つのストライプが論理的にNパーティションにまたがって物理的に非常に近くなるようにすることができます。これが私の質問の要点でした。「これを行うためにZFSを構成できますか？」すなわち、単にZFS ...パーティションのトリックを使用したZFSではありません。

18 zfs  raidz 

ルートrpoolに加えて、追加のストレージプールを備えたSolaris 10 U8サーバーを拡張しています。 特定のZFSファイルシステムをrpoolからこの新しいストレージプールに移動する最も効果的/シンプル/信頼できる方法は何ですか？ オンラインで実行できますか、またはこれらのプールを使用して最初にサービスをシャットダウンする必要がありますか？

18 solaris  zfs 

permanent errors今日、いくつかが私のzpoolで報告されました。 pool: seagate3tb state: ONLINE status: One or more devices has experienced an error resulting in data corruption. Applications may be affected. action: Restore the file in question if possible. Otherwise restore the entire pool from backup. see: http://zfsonlinux.org/msg/ZFS-8000-8A scan: none requested config: NAME STATE READ WRITE CKSUM seagate3tb …

18 zfs 

ZFSのパフォーマンスは空き領域の量に大きく依存することを知っています。 プールのパフォーマンスを維持するために、プールの使用率を80％未満に抑えます。現在、プールが非常にいっぱいで、ビジーなメールサーバーなどでファイルシステムが頻繁に更新されると、プールのパフォーマンスが低下する可能性があります。プールがいっぱいになると、パフォーマンスが低下する可能性がありますが、他の問題は発生しません。[...]静的コンテンツのほとんどが95〜96％の範囲であっても、書き込み、読み取り、再同期のパフォーマンスが低下する可能性があることに注意してください。ZFS_Best_Practices_Guide、solarisinternals.com（archive.org） ここで、ZFSファイルシステムをホストする10Tのraidz2プールがあるとしますvolume。次に、子ファイルシステムを作成し、volume/test5Tの予約を与えます。 次に、NFSごとに両方のファイルシステムをいくつかのホストにマウントし、いくつかの作業を実行します。volume残りの5Tはに予約されているため、5T を超える書き込みはできないことを理解していvolume/testます。 私の最初の質問は、volumeマウントポイントを〜5Tで満たした場合、パフォーマンスがどのように低下​​するかです。ZFSのコピーオンライトやその他のメタデータのためにそのファイルシステムに空きスペースがないので、ドロップしますか？または、ZFSは予約されたスペース内の空きスペースを使用できるため、同じままvolume/testですか？ 今2番目の質問。次のように設定を変更すると、違いが生じますか？volume現在、2つのファイルシステムがvolume/test1ありvolume/test2ます。両方にそれぞれ3T予約が割り当てられます（クォータはありません）。今、私は7Tをに書きtest1ます。両方のファイルシステムのパフォーマンスは同じですか、それともファイルシステムごとに異なりますか？落ちますか、それとも変わりませんか？ ありがとう！

17 solaris  zfs  quota