タグ付けされた質問 「zfsonlinux」

ここに示すように、Nexentaの推奨アーキテクチャに基づいて、高可用性クラスタ共有ストレージにデュアルヘッドZFS-backed NASを使用しています。 1 JBODのディスクは単一の4 TB Postgresデータベースのデータベースファイルを保存し、他のJBODのディスクは20 TBの大きな未加工バイナリフラットファイル（大きな恒星オブジェクトの衝突シミュレーションのクラスター結果）を保存します。つまり、PostgresファイルをバッキングするJBODは主にランダムなワークロードを処理し、シミュレーション結果をバッキングするJBODは主にシリアルワークロードを処理します。どちらのヘッドノードにも256 GBのメモリと16コアがあります。クラスターには約200のコアがあり、それぞれがPostgresセッションを維持しているため、約200の同時セッションが予想されます。 ZFSヘッドノードをクラスターのミラーリングされたPostgresデータベースサーバーのペアとして同時に機能させることが、セットアップで賢明かどうか知りたいのですが。私が見ることができる唯一の欠点は次のとおりです。 インフラストラクチャのスケーリングの柔軟性が低下します。 冗長性のレベルがわずかに低くなります。 PostgresのメモリとCPUリソースが制限されています。 ただし、私が理解している利点は、ZFSは自動フェールオーバーにかなりとんでもないことであり、ヘッドと一緒に失敗するため、ヘッドノードが失敗したかどうかを各Postgresデータベースサーバーに理解させるために多くの作業を費やす必要はありません。ノード。

9 storage  postgresql  zfs  high-availability  zfsonlinux 

私は汎用サーバーを持っており、メール、DNS、ウェブ、データベース、その他のサービスをいくつかのユーザーに提供しています。 Xeon E3-1275（3.40 GHz、16 GB ECC RAM）を搭載しています。Linuxカーネル4.2.3とZFS-on-Linux 0.6.5.3を実行します。 ディスクレイアウトは、2x Seagate ST32000641AS 2 TBドライブと1x Samsung 840 Pro 256 GB SSDです。 RAID-1ミラーに2つのHDがあり、SSDはキャッシュおよびログデバイスとして機能し、すべてZFSで管理されています。 私が最初にシステムをセットアップしたとき、それは驚くほど高速でした。実際のベンチマークはありません。ただ...高速です。 さて、特にすべてのmaildirを保持するファイルシステムで、極端なスローダウンに気づきました。夜間バックアップを実行すると、わずか46 GBのメールで90分以上かかります。場合によっては、バックアップによって非常に大きな負荷が発生し、システムが最大6時間応答しなくなることがあります。 私はこれらのスローダウン中に実行しましたzpool iostat zroot（私のプールはという名前ですzroot）、100〜200kバイト/秒のオーダーの書き込みを見ました。明らかなIOエラーはありません。ディスクは特にハードに動作しているようには見えませんが、読み取りはほとんど不可能に遅いです。 奇妙なことに、FreeBSDを実行しているSSDではなく、同じ仕様のハードウェアを使用して、別のマシンでまったく同じ経験をしました。数か月間は問題なく動作しましたが、同じように遅くなりました。 私の疑いは次のとおりです。zfs-auto-snapshotを使用して、各ファイルシステムのローリングスナップショットを作成します。15分のスナップショット、1時間ごと、1日ごと、1か月ごとのスナップショットを作成し、それぞれのスナップショットを一定数保持して、最も古いスナップショットを削除します。つまり、時間の経過とともに、各ファイルシステムで数千のスナップショットが作成され、破棄されました。これは、累積的な効果があると考えることができる唯一の進行中のファイルシステムレベルの操作です。私はすべてのスナップショットを破棄しようとしました（ただし、プロセスを実行したままにし、新しいスナップショットを作成しました）、変更がないことに気付きました。 スナップショットを常に作成および破棄することに問題はありますか？私はそれらが非常に価値のあるツールであることを発見し、それらが（ディスク領域を除いて）多かれ少なかれゼロコストであると信じるようになりました。 この問題を引き起こしている可能性のある何か他にありますか？ 編集：コマンド出力 の出力zpool list： NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT zroot 1.81T 282G 1.54T - 22% 15% …

8 performance  hard-drive  zfs  zfsonlinux 

ZFSプールからの読み取り中にI / Oエラーが発生すると、次の2つのことが発生するという印象を受けました。 障害は、関連するデバイスのREADまたはCKSUM統計のいずれかに記録され、プールレベルに向かって上方に伝播します。 冗長データは、要求されたブロックを再構築し、要求されたブロックを呼び出し元に返し、ダフドライブがまだ機能している場合は、ブロックをブロックに再書き込みするために使用されます。または、 読み取りエラーを修正するための冗長データがない場合は、I / Oエラーが返されます。 ミラーセットアップのディスクの1つで不良セクターが発生しているようです。それ自体は驚くべきことではありません。そのようなことが起こり、それがまさに私が冗長性を持っている理由です（正確には、双方向ミラーです）。プールをスクラブするか、特定のディレクトリのファイルを読み取るたびに（どのファイルに問題があるかを正確に特定するためにまだ気にしていません）、次のようにdmesgにポップアップし、明らかにタイムスタンプが異なります。 Nov 1 09:54:26 yeono kernel: [302621.236549] ata6.00: exception Emask 0x0 SAct 0x9c10 SErr 0x0 action 0x0 Nov 1 09:54:26 yeono kernel: [302621.236557] ata6.00: irq_stat 0x40000008 Nov 1 09:54:26 yeono kernel: [302621.236566] ata6.00: failed command: READ FPDMA QUEUED Nov 1 09:54:26 yeono …

8 zfs  debian-wheezy  zfsonlinux 

Ubuntu 14.04をアップグレードしたばかりで、サーバーに2つのZFSプールがありました。ZFSドライバーとカーネルバージョンとの戦いでいくつかのマイナーな問題がありましたが、それで解決しました。1つのプールがオンラインになり、正常にマウントされました。他はしませんでした。このツールの主な違いは、1つは単なるディスクのプール（ビデオ/音楽ストレージ）であり、もう1つはraidzセット（ドキュメントなど）でした。 私はすでにプールをエクスポートして再インポートしようとしましたが、無意味にインポートしようとすると次のようになります： root@kyou:/home/matt# zpool import -fFX -d /dev/disk/by-id/ pool: storage id: 15855792916570596778 state: UNAVAIL status: One or more devices contains corrupted data. action: The pool cannot be imported due to damaged devices or data. see: http://zfsonlinux.org/msg/ZFS-8000-5E config: storage UNAVAIL insufficient replicas raidz1-0 UNAVAIL insufficient replicas ata-SAMSUNG_HD103SJ_S246J90B134910 UNAVAIL ata-WDC_WD10EARS-00Y5B1_WD-WMAV51422523 UNAVAIL …

8 ubuntu  zfsonlinux 

オラクルは2010年秋にOpenSolarisを破棄しましたが、おそらく次のメジャーバージョンのSolarisがリリースされた後を除いて、オラクルがZFSへのアップデートの公開を継続するかどうかは不明です。 FreeBSD では、テスト用にZFS v28が利用可能になりました。 しかし、v28はどこから来たのですか？メインのZFS Webサイトにバージョン28が表示されていないことに気づきました。このウェブサイトは破棄されましたか？もしそうなら、ZFSプロジェクトの中心的なWebサイトはどこにあるので、私はリポジトリを閲覧したり、メーリングリストを読んだり、リリースノートを読んだりできます。 （OpenSolarisはOracleによってダンプされており、彼らはZFSリリースをコミュニティに制限していることを理解しています）。

8 freebsd  zfs  openindiana  illumos  zfsonlinux