タグ付けされた質問 「zfs」

最近、バルクデータストレージプール（ZFS On Linux 0.6.2、Debian Wheezy）を単一デバイスのvdev構成から双方向ミラーvdev構成に移行しました。 以前のプール構成は次のとおりです。 NAME STATE READ WRITE CKSUM akita ONLINE 0 0 0 ST4000NM0033-Z1Z1A0LQ ONLINE 0 0 0 resilverが完了した後はすべて正常でした（resilverが完了した後にスクラブを開始しました。システムにすべてをもう一度調べて、すべてが正常であることを確認するためです）。 pool: akita state: ONLINE scan: scrub repaired 0 in 6h26m with 0 errors on Sat May 17 06:16:06 2014 config: NAME STATE READ WRITE CKSUM akita ONLINE 0 …

13 linux  zfs  mirror  udev  zfsonlinux 

このコマンドのように、最近、checksum複製されていないzfsファイルシステムの1つのプロパティをsha256from on（fletcher4）に変更して、複製された複製ストリームの送信をサポートしましたzfs send -DR -I _starting-snaphot_ _ending-snapshot_。 ただし、zfsのマンページには次のように記載されていsend -Dます： このフラグは、データセットのdedupプロパティに関係なく使用できますが、ファイルシステムがdedup対応のチェックサム（sha256など）を使用している場合、パフォーマンスは大幅に向上します。 zfsのマンページには、checksumプロパティについて次のように記載されています。 このプロパティの変更は、新しく書き込まれたデータにのみ影響します。 fletcher4を信頼したくない。トレードオフは、SHA256とは異なり、fletcher4は擬似ランダムハッシュ関数ではないため、衝突しないと信頼できないことです。したがって、ハッシュの衝突を検出して解決する「検証」オプションと組み合わせた場合、重複除去にのみ適しています。 できればシステムをオフラインにせずに、ファイルシステムのチェックサムを更新するにはどうすればよいですか？

13 zfs  zfsonlinux 

従来のRAIDアレイのIOPSを計算する場合、次の式を使用できます（Symantec ConnectでIOPS v1.3のハングを取得するから借用）。 Ieffective = (n * Isingle) / (READ% + (F * WRITE%)) どこ： Ieffectiveは有効なIOPSの数です Isingleは、単一ドライブの平均IOPSです。 nはアレイ内のディスクの数です READ％は、ディスクプロファイリングから取得した読み取りの割合です。 WRITE％は、ディスクプロファイリングから取得した書き込みの割合です FはRAID書き込みペナルティです： RAID Level Write Penalty RAID-0 1 RAID-1 2 RAID-5 4 RAID-6 6 RAID-10 2 RAID-DP 2 数式は基本的に次の関数です。 アレイ内の個々のドライブのIOPS ディスクの数。ディスクが多いほどIOPSが大きくなる 各書き込み操作のRAIDペナルティ。 RAID5およびRAID6では、書き込みごとに4回以上のディスク操作が必要です。コントローラーは、ブロックを読み取ってからパリティデータを読み取り（2回の操作）、新しいパリティデータを計算してから、パリティブロックを更新してデータブロックを更新する必要があります（2回の操作）。RAID6には2つのパリティブロックがあるため、3つの読み取りと3つの書き込みが必要です。したがって、RAID5およびRAID6アレイは、RAID1よりも少ないIOPSを実現できます。 RAID1およびRAID10は、ミラー内の各ディスクに1つずつ、2回の書き込みのみを必要とします。 明確にするために、これはすべて推定値を提供します理論上の性能のを。さまざまなコントローラーとRAID方式には、この一部を高速化するためのトリックがあります。 ZFSのRAID5およびRAID6に相当するものは、RAIDZおよびRAIDZ2です。RAIDZアレイのIOPSを計算するとき、RAID5およびRAID6に使用するのと同じ式を使用できますか、またはZFSには書き込み操作に必要な操作の数を減らすための特別なトリックがあります。 RAIDZアレイのIOPSを計算するときに使用する別の式はありますか？

13 performance  storage  zfs 

ロックされています。この質問とその回答はロックされています。なぜなら、質問はトピックから外れていますが、歴史的に重要だからです。現在、新しい回答やインタラクションを受け付けていません。 主にSun Fire x4540と標準のDellおよびHPハードウェアで、OpenSolarisとZFSを6か月間使用しています。標準のPercおよびHP Smartアレイコントローラーの欠点の1つは、個々のディスクをZFSに提示するための真の「パススルー」JBODモードがないことです。 複数のRAID 0アレイを構成してZFSで動作させることができますが、ホットスワップ機能に影響します（したがって、ディスクの障害/交換時に再起動が必要です）。自作のZFSストレージソリューションにどのSAS / SATAコントローラーが推奨されているかについて興味があります。さらに、バッテリーバックアップ式書き込みキャッシュ（BBWC）はZFSストレージにどのような影響を与えますか？

13 opensolaris  zfs  hp-proliant 

ZFSストレージアプライアンスとしてOracle 11ボックスを実行しています。ZFSファイルシステムのスナップショットを定期的に取得していcronます。 過去に、スナップショットから特定のファイルを取得したい場合、読み取り専用のコピーが保持され.zfs/snapshot/{name}/、そこに移動してファイルを取り出すことができることを知っていました。これは、OracleのWebサイトで文書化されています。 しかし、私は先日これをやりに行き、スナップショットディレクトリ内のZFSディレクトリがすべて空であることに気付きました。zfs list -t snapshot存在するはずのスナップショットのリストを正しく表示し、.zfs/snapshots各スナップショットのディレクトリを正しく含みます。各スナップショットには、各ZFSファイルシステムに存在するディレクトリがあります。ただし、これらのディレクトリは空のように見えます。 使用頻度の低い共有のファイルをタッチして、最新の1時間ごとのスナップショットにロールバックすることで、復元をテストしましたが、これは正常に機能しているようです。したがって、ロールバック機能があります。 Oracleはスナップショットの実行方法を変更しましたか？または、ここで何か重大な問題がありますか？

13 solaris  zfs  snapshot 

CentOS 7にZFS（0.6.5）をインストールし、zpoolも作成しました。再起動時にデータセットが消えることを除いて、すべて正常に動作します。 さまざまなオンラインリソースやブログを利用してこの問題をデバッグしようと試みましたが、期待した結果が得られませんでした。再起動後、zfs listコマンドを発行すると「データセットがありません」と表示されzpool list、「プールがありません」と表示されます。 多くのオンライン調査を行った後、zpool import -c cachefileを使用して手動でキャッシュファイルをインポートすることで機能させることができますが、それでも、再起動前にzpool set cachefile = / etc / zfs / zpool.cache Poolを実行して、再起動後に後でインポートする必要がありました。 これは何systemctl status zfs-import-cache のように見えます zfs-import-cache.service - Import ZFS pools by cache file Loaded: loaded (/usr/lib/systemd/system/zfs-import-cache.service; static) Active: inactive (dead) cat /etc/sysconfig/zfs # ZoL userland configuration. # Run `zfs mount -a` during …

13 linux  zfs  centos7  zfsonlinux 

私はこれを正確に行うことについて話している多くのサイトを見つけましたが、いくつかの重要な詳細を見逃しています。一般的な手順は 走る FLUSH TABLES WITH READ LOCK ZFSスナップショットを撮る 走る UNLOCK TABLES さまざまな情報源は、私が使用しているInnoDBは実際にはを尊重しないと報告していFLUSHます。MySQLユーザーマニュアルFLUSH TABLES...FOR EXPORTには、InnoDBで使用するバリアントがありますが、データベース全体をバックアップするのではなく、各テーブルを個別に指定する必要があると記載されています。テーブルのリストが実際に存在するテーブルと同期しなくなる可能性があるため、各テーブルを個別に指定することは避けたいと思います。 私が抱えている他の問題は、私がのようなことをする予定であったことですmysql -h"$HOST" -u"$USERNAME" -p"$PASSWORD" --execute="FLUSH TABLES WITH READ LOCK"。ただし、これにより、セッションが終了した直後にロックが解除されます。これは理にかなっていますが、スナップショットを撮るときに読み取りロックを保持する必要があるため、かなり面倒です。 私の他のアイデアは、Percona XtraBackupのようなツールを使用してホットバックアップを作成し、バックアップのスナップショットを取得することですが、スナップショットを作成するためだけにすべてのデータを2番目の場所に書き込むコストを払わないことを望みます。

12 mysql  backup  freebsd  zfs  innodb 

私はZFSを初めて使用するので、そもそもZFSの動作を把握するために、いくつかの簡単なベンチマークを実行すると思いました。そのパフォーマンスの限界を押し上げたかったので、Amazon EC2 i2.8xlargeインスタンスをプロビジョニングしました（ほぼ$ 7 / hr、時は金なりです！）。このインスタンスには8つの800GB SSDがあります。 私はfioSSD自体でテストを行い、次の出力を得ました（トリミング）： $ sudo fio --name randwrite --ioengine=libaio --iodepth=2 --rw=randwrite --bs=4k --size=400G --numjobs=8 --runtime=300 --group_reporting --direct=1 --filename=/dev/xvdb [trimmed] write: io=67178MB, bw=229299KB/s, iops=57324, runt=300004msec [trimmed] 4Kランダム書き込みの57K IOPS。立派な。 次に、raidz18 つすべてにまたがるZFSボリュームを作成しました。最初は8つのSSDすべてを含む1つのvdevがありましたが、これがパフォーマンスに悪い理由について読んだので、4つのmirrorvdevができました。 $ sudo zpool create testpool mirror xvdb xvdc mirror xvdd xvde mirror xvdf xvdg mirror xvdh …

12 amazon-web-services  zfs  zfsonlinux 

FreeNASのzpoolで不良ディスクを交換する必要があります。 zpool status ショー pool: raid-5x3 state: ONLINE scrub: scrub completed after 15h52m with 0 errors on Sun Mar 30 13:52:46 2014 config: NAME STATE READ WRITE CKSUM raid-5x3 ONLINE 0 0 0 raidz1 ONLINE 0 0 0 ada5p2 ONLINE 0 0 0 gptid/a767b8ef-1c95-11e2-af4c-f46d049aaeca ONLINE 0 0 0 ada8p2 ONLINE …

12 freebsd  zfs  freenas  raidz  zpool 

Windows Server 2012にはNTFSボリュームの重複排除機能が搭載されているため、技術的な詳細を見つけるのに苦労しています。TechNetのドキュメントから、重複排除アクション自体は非同期プロセスであると推定できます-SIS Grovelerの動作方法とは異なりますが、実装（アルゴリズムの使用、必要なリソース、パフォーマンスに関する情報までも）について実質的に詳細はありません考慮事項は、大まかな経験則スタイルの推奨事項にすぎません）。 洞察と指針は大歓迎であり、一連のシナリオでのSolarisのZFS重複排除効率との比較は素晴らしいことです。

12 zfs  windows-server-2012  deduplication 

zfs copies=2を使用して、これらのコピーの一部を含むドライブを紛失した場合、影響を受けるファイルのデータブロックの新しいコピーを作成するようにシステムに指示するにはどうすればよいですか？または、zfsは、不良データブロックを検出するとすぐに、余分なコピーのデータブロックの追加を開始しますか？ スクラブはこれを行いますか？ （v0.6.0.56-rc8、ZFSプールバージョン28、ZFSファイルシステムバージョン5、Ubuntu 11.10）

12 zfs 

特定のファイルシステムをzpool内のすべてのディスクに再配布するようにZFSに指示する方法はありますか？ FC上のLUNとしてエクスポートされる固定サイズのZFSボリュームがあるシナリオを考えています。現在のzpoolは小さく、1 TBのミラーディスクが2つだけで、zvolは合計で750GBです。たとえば、zpoolのサイズを突然1TBのディスク12個に拡張した場合、zvolは最初の2つのスピンドルのみに効果的に「収容」されると考えています。 より多くのスピンドル=より多​​くのIOPSがある場合、それらを利用するために12のスピンドルすべてにわたってzvolを「再分散」するためにどのような方法を使用できますか？

12 zfs  iops  zvol 

メインファイルサーバーにZFSを使用してOpenSolarisを実行しています。私はそれについて非常に多くの素晴らしいことを聞いたので、私はもともとZFSに行きました： 自動ディスクスパニング（zpool） ソフトウェアRAID（RAID-Z） RAIDZされたディスクを交換することによる自動プールサイズ変更 ブロックレベルのチェックサム 実用的な単一ボリュームの制限はありません 「近日公開」重複排除 OpenSolarisにしばらく突っ込んだ後、本当に困りました。私はFedora / CentOSとDebian / Ubuntuをはるかによく知っており、Solaris / BSDバージョンに比べてLinuxのやり方に慣れています。Linuxに切り替えたいのですが、FSに何を使うべきかわかりません。 ZFSを入手するためにFUSEやプレベータ版のカーネルを使うつもりはありません。Btrfsには潜在的な機能パリティがありますが、現在でもまだ安定していません（最初に調べてから数か月後）。LinuxボックスのZFS（上記の望ましい機能）に相当するものとして何をお勧めしますか？

12 linux  filesystems  zfs 

4GのRAM、16個のSATAホットスワップベイを備えたSupermicro X6DHE-XB 3UエンクロージャーにFreeNASベースのサーバーを構築しています。2x8ポートの3Ware RAIDカードが付属していますが、ハードウェアRAIDの代わりにZFS機能のみを使用する予定です。最初のドライブセットは、8x2TB HITACHI Deskstar 7K3000 HDS723020BLA642ドライブです。 ハードウェアベースのRAIDを使用していた場合、ドライブが故障したドライブベイで赤信号が発生します。ドライブに障害が発生した場合、ZFSとどのように連携しますか？sda = bay1、sdb = bay2などの保証はないと思うので、どのドライブを交換する必要があるかをどのように判断しますか？ZFSは、SATAコントローラーに報告して「故障したドライブ」ライトを点灯させることができますか？ドライブのシリアル番号を報告するだけですか？ドライブが非常に激しく故障してシリアル番号を報告できない場合はどうなりますか？すべてのドライブのシリアル番号と、稼働する前にどのベイに入ったかを書き留めておくことをお勧めします。将来ドライブを簡単に交換できるようにするためのその他の「運用前」タスクはありますか？

12 zfs  freenas 

問題 最近、新しいディスクをインストールし、その上にzpoolを作成しました。 /# zpool create morez /dev/sdb しばらく使用した後、かなり遅いことに気付きました。 /morez# fio --name rw --rw rw --size 10G read: IOPS=19.6k, BW=76.6MiB/s (80.3MB/s)(5120MiB/66834msec) write: IOPS=19.6k, BW=76.6MiB/s (80.3MB/s)(5120MiB/66834msec) このテストは、実際の使用例とかなり似ています。ディスクから適度な数（〜10k）の画像（それぞれ〜2 MiB）を読み取っています。ディスクがほとんど空のときにそれらは一度にすべて書き込まれたので、断片化されるとは思わない。 比較のために、ext4をテストしました。 /# gdisk /dev/sdb ... /# mkfs.ext4 -f /dev/sdb1 && mount /dev/sdb1 /mnt && cd /mnt /mnt# fio --name rw --rw rw --size 10G …

11 performance  hard-drive  zfs  zfsonlinux