タグ付けされた質問 「zfs」

これは、RAIDレベルに関する標準的な質問です。 なに： 通常使用されるRAIDレベル（RAID-Zファミリを含む） 展開は一般的に見られますか？ それぞれの利点と落とし穴？

181 raid  storage  hard-drive  zfs 

〜16TBのストレージサーバーの構築を検討しています。現時点では、ファイルシステムとしてZFSとXFSの両方を検討しています。長所と短所は何ですか？何を探す必要がありますか？3番目のより良いオプションはありますか？

62 filesystems  storage  zfs  xfs 

zpoolには非常に貴重な個人データが数TBありますが、データ破損のためアクセスできません。プールはもともと、Ubuntu 8.04システムの上にあるVMWare仮想マシン内で実行されているFreeBSD 7.2システムで2009年前後に設定されました。FreeBSD VMは引き続き利用可能で正常に動作します。ホストOSのみがDebian 6に変更されました。ハードウェアは、VMWare汎用SCSIデバイス（合計12台）によってゲストVMにアクセス可能になります。 2つのプールがあります。 zpool01：2x 4x 500GB zpool02：1x 4x 160GB 動作するものは空で、壊れたものはすべての重要なデータを保持しています。 [user@host~]$ uname -a FreeBSD host.domain 7.2-RELEASE FreeBSD 7.2-RELEASE #0: \ Fri May 1 07:18:07 UTC 2009 \ root@driscoll.cse.buffalo.edu:/usr/obj/usr/src/sys/GENERIC amd64 [user@host ~]$ dmesg | grep ZFS WARNING: ZFS is considered to be an experimental feature in FreeBSD. ZFS …

44 freebsd  zfs  data-recovery 

ホームディレクトリの階層をいくつかのFreeBSD刑務所にさらそうとしています。ホームディレクトリは、それぞれが一意のZFSデータセットになるように構成されます。刑務所は開発作業に使用されるため、定期的に作成および破棄されます。 私の最初の考えは、単純にnullfsを使用し/homeてjail内にマウントすることでしたが、nullfsは下位のファイルシステムにアクセスする方法を提供しません。 2番目の考えは、NFSを介してディレクトリをエクスポートしてから、各jail内でautomounterデーモン（amd）を実行することでした。刑務所内でNFSマウントを実行できる場合は、これでうまくいきます。しかし、そうではありません。 私の3番目の考えは、ホストでamdを実行し、jailにnullfsマウントをプロビジョニングすることでした...しかしnullfsの amdサポートは存在しません。 私の4番目の考えは、NFSを使用したディレクトリのエクスポートに戻ることでした。もちろん、amdはNFSで動作します。残念ながら、ターゲットのマウントポイントにディレクトリをマウントするのではなく、amdは一時的な場所（/.amd_mnt/...）にマウントしてから、もちろん、jail環境内では役に立たないシンボリックリンクを作成します。 だから、nullfsを使用してサブディレクトリを/.amd_mntjail に公開できますか？いや！これにより、nullfsを使用して下位ファイルシステムにアクセスする方法がないことがわかった最初の試みに戻ります。 そして、私の頭が爆発した。 私がやろうとしていることに対して良い解決策はありますか？悪いソリューションは複数作成することになり、刑務所起動後にスクリプトを実行することですNULLFSの各ホームディレクトリのマウントポイントを、これはかなり不格好である-それは、アカウントに新しいディレクトリまたは削除されたディレクトリを取るために定期的に実行する必要があります。したがって、基本的には、悪いオートマウンターを作成する必要があります。 より良い方法がなければなりません。Serverfault、私を助けてください、あなたは私の唯一の希望です！ 更新1：で問題の一部を解決できるかもしれないと思いましたがpam_mount、これはせいぜい不完全です。また、ドキュメントからpam_mount、ターゲットマウントポイントを自動的に作成できるかどうかも明確ではありません。マウントポイントが先験的に存在する必要がある場合、この解決策は、私がすでに提案した悪い自動マウンターよりも優れていません。 更新2：以下の回答で説明したようVFCF_JAILに、NFSファイルシステムの設定により、刑務所はNFSマウントを実行できます。残念ながら、オートマウンタは役に立たない振る舞いを続けており、刑務所で実行すると、プロセスエントリを削除するためにシステムの再起動が必要になるような方法でくさびでくぐることに非常に優れているようです。

40 freebsd  zfs  automount  jail  central-processing-unit 

私の知る限り、LVMはボリュームのスナップショットを取ることを可能にします。スナップショットをサポートする多くのファイルシステム（ZFS、Btrfs、reiserfsなど）もあります。 ただし、LVMスナップショットとファイルシステムスナップショットの違いを理解したことはありません。LVMでスナップショットを取得できる場合、なぜ誰かがそれをファイルシステムに実装するのに時間をかけるのですか？ 編集：いくつかの状況でそれらのいずれかが好まれていますか？どうして？

32 lvm  zfs  snapshot  btrfs 

友人がビット腐敗の問題について話している-ドライブのビットがランダムに反転し、データが破損している。非常にまれですが、十分な時間があると問題になる可能性があり、検出することはできません。 ドライブはそれを不良セクタとは見なさず、バックアップはファイルが変更されたと判断します。整合性を検証するためのチェックサムはありません。RAIDセットアップでも、違いは検出されますが、どのミラーコピーが正しいかを知る方法はありません。 これは本当の問題ですか？もしそうなら、それについて何ができますか？私の友人はソリューションとしてzfsを推奨していますが、Solarisとzfsを使用して、職場でファイルサーバーを平坦化することは想像できません。

32 raid  hard-drive  zfs 

私がオンラインで見たZFSの実際の使用例（ここでのいくつかの質問を含む）では、zpoolの名前は「tank」です。どうして？名前に何らかの意味がありますか、それとも元のドキュメントが「タンク」を使用したということですか？システムに複数のzpoolがある場合、そのうちの1つを「tank」という名前にするのは一般的ですか、それとも「tank」は単一プールシステムの規則ですか？

31 zfs 

/ tmpの下に約30Mのファイルを誤って作成したバグのあるプログラムを作成しました。（このバグは数週間前に導入され、1秒あたり2つのサブディレクトリが作成されていました。）/ tmpの名前を/ tmp2に変更できたので、ファイルを削除する必要があります。システムはFreeBSD 10で、ルートファイルシステムはzfsです。 一方、ミラー内のドライブの1つが故障したため、交換しました。ドライブには2つの120GB SSDディスクがあります。 問題は、ハードドライブの交換とアレイ全体の再同期化に1時間もかからなかったことです。ファイル/ tmp2の削除もまた別の話です。ファイルを削除する別のプログラムを作成しましたが、1秒あたり30〜70個のサブディレクトリしか削除できません。すべてのファイルを削除するには2〜4日かかります。 アレイ全体の再同期化に1時間かかるのに、ディスクから削除するのに4日間かかることはどのように可能ですか？なぜこんなにパフォーマンスが悪いのですか？70削除/秒は非常にパフォーマンスが悪いようです。 / tmp2のinodeを手動で削除することもできますが、それでもスペースが解放されませんよね？ これはzfsの問題なのか、ハードドライブの問題なのか

30 performance  freebsd  zfs 

サーバーグレードのハードウェアを自由に使用できる場合、ハードウェアベースのRAID1などの上でZFSを実行することをお勧めしますか？ハードウェアベースのRAIDをオフにしてmirror、raidz zpool代わりにZFSを実行する必要がありますか？ ハードウェアRAID機能をオフにすると、ハードウェアRAIDベースのSATA2およびSASコントローラーは、非ハードウェアRAIDコントローラーよりも読み取りおよび書き込みエラーを隠しやすくなりますか？ カスタマイズ不可能なサーバーに関しては、ハードウェアRAIDコントローラーが実質的にコスト中立である（または、事前に構築されたサーバー製品のコストを下げる状況がある場合、その存在によりホスティング会社が補完的なIPMIを提供する可能性が向上するため）アクセス）、それはまったく避けるべきですか？しかし、それは求められるべきですか？

30 zfs  hardware-raid  sas  sata  hardware 

ピーク時のパフォーマンスでは、1時間あたり50（「書き込みヘッド」）x 75 GBのデータをプッシュできるマシンが稼働します。これは、書き込み速度が約1100MB / sのピークパフォーマンスです。マシンから取得するには、2つの10GBiラインが必要です。私の質問は、どのようなサーバー+テクノロジーがそのようなデータフローを処理/保存できるのですか？ 現在、データストレージではZFSを使用していますが、書き込み速度は問題ではありませんでした。（私たちはこれらの速度にさえ近づいていません）ZFS（Linuxではzfs）はオプションでしょうか？また、大量のデータを保存する必要があります。「ITガイド」では、合計で50〜75 TBの範囲が推奨されています。したがって、最初に生まれた子供を提供したいのでなければ、すべてのSSDを使用することはできません。 優れた返信に基づいたいくつかの追加： ピーク時の最大値は50x75GB /時間で、24時間未満です（ほとんどの場合<6時間） これがすぐに起こるとは考えていません。おそらく5〜10x75GB /時間で実行します。 それはプレアルファ版のマシンですが、要件は満たされるべきです（たとえ多くの疑問符が使われていても） マシンからサーバーへの接続としてNFSを使用します レイアウト：マシンの生成->ストレージ（これ）->（セーフRAID 6）->計算クラスター そのため、読み取り速度は必須ではありませんが、計算クラスターから使用することをお勧めします（ただし、これは完全にオプションです） ほとんどの場合、大きなデータファイルになります（多くは小さくありません）

29 performance  storage  zfs  write 

Debianに2つのドライブを失った大きな（> 100TB）ZFS（FUSE）プールがあります。ドライブに障害が発生したため、停止をスケジュールし、不良ディスクを物理的に交換できるようになるまで、ドライブをスペアに交換しました。 システムを停止してドライブを交換すると、プールは予想どおりに再同期化を開始しましたが、約80％に達すると（通常約100時間かかります）、再起動します。 2台のドライブを一度に交換すると競合状態になるのか、プールのサイズが原因で他のシステムプロセスが中断して再起動するのに時間がかかるのかはわかりませんが、明確な兆候はありません「zpool status」の結果または問題を示すシステムログ。 その後、これらのプールのレイアウトを変更して、再同期のパフォーマンスを改善しましたが、このシステムを本番環境に戻すためのリードやアドバイスを歓迎します。 zpool statusの出力（前回チェックしたときからのエラーです）： pool: pod state: ONLINE status: One or more devices has experienced an error resulting in data corruption. Applications may be affected. action: Restore the file in question if possible. Otherwise restore the entire pool from backup. see: http://www.sun.com/msg/ZFS-8000-8A scrub: resilver in progress …

29 debian  zfs 

大規模なZFSプール（150TB +）の構築を検討しています。ハードウェアの故障によるデータ損失シナリオについて、特に、一部のデータが失われたインスタンスとファイルシステム全体を区別する人々の体験を聞きたいです（ ZFSにそのような違いがある場合でも）。 たとえば、外部ドライブエンクロージャの電源が切れたり、コントローラカードに障害が発生したりしたために、vdevが失われたとします。私が読んだものからプールはフォールトモードになりますが、vdevが返された場合、プールは回復するはずですか？か否か？または、vdevが部分的に破損している場合、プール全体や一部のファイルなどが失われますか？ ZILデバイスに障害が発生するとどうなりますか？または、いくつかのZILの1つだけですか？ 深い技術的知識に裏打ちされた、ありとあらゆる逸話や仮説シナリオを歓迎します！ ありがとう！ 更新： 私たちは中小企業（9人程度）なので安価でこれを行っていますが、かなりの量の画像データを生成します。 データは大部分が小さなファイルであり、TBあたり約50万ファイルとカウントしています。 データは重要ですが、非常に重要ではありません。ZFSプールを使用して48TBの「ライブ」データアレイをミラーリングし（3年程度使用中）、残りのストレージを「アーカイブされた」データに使用する予定です。 プールはNFSを使用して共有されます。 ラックはおそらく建物のバックアップ発電機ライン上にあり、5分間程度全負荷でラックに電力を供給できる2つのAPC UPSがあります。

27 backup  filesystems  storage  zfs 

使用しているアプリケーションはext4機能に依存しているため、ext4ファイルシステムを使用して圧縮ストレージを必要とするプロジェクトをテストしようとしています。 ext4で透過的な圧縮を行うための生産/安定ソリューションはありますか？ 私が試したもの： 圧縮が有効なZFSボリューム上のExt4。これは実際に悪影響を及ぼしました。lz4圧縮を有効にしてZFSボリュームを作成し、/ dev / zvol / ...にext4ファイルシステムを作成しようとしましたが、zfsボリュームは実際の使用量の2倍を示し、圧縮は効果がなかったようです。 # du -hs /mnt/test **1.1T** /mnt/test # zfs list NAME USED AVAIL REFER MOUNTPOINT pool 15.2T 2.70G 290K /pool pool/test 15.2T 13.1T **2.14T** - ZFS作成コマンド zpool create pool raidz2 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde2 /dev/sdf1 /dev/sdg1 /dev/sdh2 /dev/sdi1 zfs set recordsize=128k pool …

26 linux  filesystems  zfs  ext4  compression 

zfsプールをオフサイトで継続的/増分的にバックアップするにはどうすればよいですか？ send/receiveオーバーSSHは、スナップショットを手動で管理する必要がある方法の1つであると認識しています。 私が見つけたいくつかのツールがありますが、ほとんどはもはやサポートされていません。 有望に見えるツールの1つはhttps://github.com/jimsalterjrs/sanoidですが、広く知られていないツールは、データを破損/削除する可能性があるという点で、より多くの害を及ぼすことが心配です。 連続/増分zfsバックアップはどのように実行されますか？

25 backup  zfs  incremental-backup  zfsonlinux 

LinuxでLUKSで暗号化されたZ-RAIDプールとして3x 2TB 7200rpmドライブのセットをセットアップする予定です（NASソリューション用）。 目の前の問題についての私の理解は、これを達成する唯一の方法は、luksFormatすべての物理デバイスを使用して、ロックされていないLUKSコンテナーからzpoolを組み立てることです。 これには次の懸念があります。 書き込みパフォーマンスを大幅に妨げませんか？このセットアップでは、LUKSはZ-RAIDを「認識しない」ため、冗長データは数回暗号化されます。LUKS-on-mdadmソリューションでは、データは1回暗号化され、ディスクに複数回書き込まれるだけです。私のCPUはIntel AES-NIをサポートしています。 ZFSは、物理デバイスではなくデバイスマッパーLUKSコンテナーで動作しているときにディスク障害を認識しますか？重複排除やその他のZFS機能はどうですか？

24 linux  zfs  network-attached-storage  encryption  luks