タグ付けされた質問 「zfsonlinux」

zfsプールをオフサイトで継続的/増分的にバックアップするにはどうすればよいですか？ send/receiveオーバーSSHは、スナップショットを手動で管理する必要がある方法の1つであると認識しています。 私が見つけたいくつかのツールがありますが、ほとんどはもはやサポートされていません。 有望に見えるツールの1つはhttps://github.com/jimsalterjrs/sanoidですが、広く知られていないツールは、データを破損/削除する可能性があるという点で、より多くの害を及ぼすことが心配です。 連続/増分zfsバックアップはどのように実行されますか？

25 backup  zfs  incremental-backup  zfsonlinux 

再構築中にUREが発生する可能性が大きくなるという大きなドライブに関する議論を理解していますが、これが実際に何を意味するのかわかりません。この回答は、再構築全体が失敗したと言っていますが、これはすべてのデータにアクセスできないことを意味しますか？どうしてですか？確かに、ドライブ上の単一のセクターからの単一のUREは、せいぜい少数のファイルに関連するデータにのみ影響します。いくつかのファイルにわずかな破損があるだけで、アレイはまだ再構築されませんか？ （ここでは特にZFSのRAID5の実装に興味がありますが、論理はどのRAID5実装でも同じようです。）

23 raid  zfs  zfsonlinux 

Linuxサーバーには2 TBのディスクが多数ありますが、現在はすべてLVMにあり、約10 TBのスペースがあります。ext4パーティションでこのすべてのスペースを使用しますが、現在約8,8 TBのデータがあります。 問題は、多くの場合、ディスクにエラーが発生し、エラーが表示されたらすぐに交換する（つまり、古いディスクをddで新しいディスクにコピーしてから新しいディスクをサーバーに入れる）場合でも、多くの場合、約100 MBの破損データが表示されます。そのため、e2fsckは毎回おかしくなり、ext4ファイルシステムを再び正常な状態に戻すのに1週間かかることがよくあります。 質問は次のとおりです。LVMでファイルシステムとして使用することをお勧めしますか？ または、代わりに私に何を勧めますか（私は本当にLVMは必要ありません）？ 私のファイルシステムのプロファイル： 異なる合計サイズの多くのフォルダー（合計2 TB、合計100 MB） サイズが異なる200,000近くのファイル（3/4が約10 MB、1/4が100 MBから4 GBの間。現在、ext4パーティションが数日間完全に破壊されているため、ファイルの統計を取得できません） 読み取りは多いが書き込みは少ない フォールトトレランスが必要です（ディスク全体で1つのエラーが発生するのが好きではないため、mdadm RAIDの使用を停止しました。ディスクに障害が発生している場合があり、できるだけ早く交換しますが、破損したデータを取得できることを意味します私のファイルシステム） 主な問題は、ディスクの故障です。一部のファイルを失うことはできますが、すべてを同時に失うわけにはいきません。 ext4を使い続けている場合、より小さなファイルシステムを作成し、何らかの方法でそれらを「マージ」するのが最善であると聞きましたが、その方法はわかりません。 私はbtrfsがいいと聞いたが、データが複製されていない場合（mkfs.btrfs -d single？）、ディスクの一部（またはディスク全体）を失うことを管理する方法についての手がかりを見つけることができません。 質問に関するアドバイスは大歓迎です、事前に感謝します！

21 filesystems  lvm  ext4  btrfs  zfsonlinux 

今日プールをスクラブしましたが、スクラブが終了した後、ファイルを破損するエラーがあることに気付きました。ファイルを気にしなかったので、削除しました。残念ながら、エラーは残り（ファイル名ではなく16進IDで参照される）、クリアする方法がわかりません。 心配する必要がありますか？私はまだこのエラーから本当に自由ではないのですか？ エラーをクリアできますか？ファイルがなくなった場合、今後このエラーが表示されることはありません。 参考のために、私が発行したコマンドと出力を注釈付きで示します。 状態の確認 kevin@atlas:~$ sudo zpool status -v pool: zstorage state: ONLINE status: One or more devices has experienced an error resulting in data corruption. Applications may be affected. action: Restore the file in question if possible. Otherwise restore the entire pool from backup. see: zfsonlinux.org/msg/ZFS-8000-8A scan: scrub …

20 zfs  zfsonlinux 

Ubuntu 12.04でPPAからZoL 0.6.2を実行しています。KVM / Libvirtを使用して一部のVMを実行するための16GBのメモリを備えたホスト上にあります。しばらくすると、ZoLは非常に多くのメモリを使用し、一部のVMが実行されているとRAM使用量の98％に達します。これにより、新しいプロセスは「メモリを割り当てることができません」の起動を拒否します。ZFSを使用する前に約40〜50％のRAMを使用していたすべてのVMを起動することもできません。 私が理解する限り、微調整をせずに、システムのメモリが不足するとすぐにZoLはメモリを解放する必要があります。そうではありません。そこで、arc_max設定を1GBに設定することにしました。 # echo 1073741824 >> /sys/module/zfs/parameters/zfs_arc_max それでも、メモリは解放されません。 以下のARC統計からわかるように、構成されているよりも多くのメモリを使用しています（compare c= 7572030912with c_max= 1073741824）。 ここで何が間違っていますか？ # cat /proc/spl/kstat/zfs/arcstats 4 1 0x01 84 4032 43757119584 392054268420115 name type data hits 4 28057644 misses 4 13975282 demand_data_hits 4 19632274 demand_data_misses 4 571809 demand_metadata_hits 4 6333604 demand_metadata_misses 4 289110 prefetch_data_hits …

20 zfsonlinux 

Linux上のZFSはすでに暗号化をサポートしていますか？そうでない場合、計画されていますか？ ZFS + LUKSの情報は大量に見つかりましたが、それはまったく面白くありません。ZFS暗号化を使用して、「信頼されていない」バックアップサーバーに送信するzfsを使用してレプリケーションを実行できます。つまり、zfs送信フラグメントは暗号化する必要があります。 ZoLが暗号化をサポートしていない場合、zVolを作成し、その上でLUKS + EXTを使用する（ZFSの多くの利点を失う）よりもエレガントな方法がありますか？

13 zfs  encryption  zfsonlinux 

最近、バルクデータストレージプール（ZFS On Linux 0.6.2、Debian Wheezy）を単一デバイスのvdev構成から双方向ミラーvdev構成に移行しました。 以前のプール構成は次のとおりです。 NAME STATE READ WRITE CKSUM akita ONLINE 0 0 0 ST4000NM0033-Z1Z1A0LQ ONLINE 0 0 0 resilverが完了した後はすべて正常でした（resilverが完了した後にスクラブを開始しました。システムにすべてをもう一度調べて、すべてが正常であることを確認するためです）。 pool: akita state: ONLINE scan: scrub repaired 0 in 6h26m with 0 errors on Sat May 17 06:16:06 2014 config: NAME STATE READ WRITE CKSUM akita ONLINE 0 …

13 linux  zfs  mirror  udev  zfsonlinux 

このコマンドのように、最近、checksum複製されていないzfsファイルシステムの1つのプロパティをsha256from on（fletcher4）に変更して、複製された複製ストリームの送信をサポートしましたzfs send -DR -I _starting-snaphot_ _ending-snapshot_。 ただし、zfsのマンページには次のように記載されていsend -Dます： このフラグは、データセットのdedupプロパティに関係なく使用できますが、ファイルシステムがdedup対応のチェックサム（sha256など）を使用している場合、パフォーマンスは大幅に向上します。 zfsのマンページには、checksumプロパティについて次のように記載されています。 このプロパティの変更は、新しく書き込まれたデータにのみ影響します。 fletcher4を信頼したくない。トレードオフは、SHA256とは異なり、fletcher4は擬似ランダムハッシュ関数ではないため、衝突しないと信頼できないことです。したがって、ハッシュの衝突を検出して解決する「検証」オプションと組み合わせた場合、重複除去にのみ適しています。 できればシステムをオフラインにせずに、ファイルシステムのチェックサムを更新するにはどうすればよいですか？

13 zfs  zfsonlinux 

CentOS 7にZFS（0.6.5）をインストールし、zpoolも作成しました。再起動時にデータセットが消えることを除いて、すべて正常に動作します。 さまざまなオンラインリソースやブログを利用してこの問題をデバッグしようと試みましたが、期待した結果が得られませんでした。再起動後、zfs listコマンドを発行すると「データセットがありません」と表示されzpool list、「プールがありません」と表示されます。 多くのオンライン調査を行った後、zpool import -c cachefileを使用して手動でキャッシュファイルをインポートすることで機能させることができますが、それでも、再起動前にzpool set cachefile = / etc / zfs / zpool.cache Poolを実行して、再起動後に後でインポートする必要がありました。 これは何systemctl status zfs-import-cache のように見えます zfs-import-cache.service - Import ZFS pools by cache file Loaded: loaded (/usr/lib/systemd/system/zfs-import-cache.service; static) Active: inactive (dead) cat /etc/sysconfig/zfs # ZoL userland configuration. # Run `zfs mount -a` during …

13 linux  zfs  centos7  zfsonlinux 

私はZFSを初めて使用するので、そもそもZFSの動作を把握するために、いくつかの簡単なベンチマークを実行すると思いました。そのパフォーマンスの限界を押し上げたかったので、Amazon EC2 i2.8xlargeインスタンスをプロビジョニングしました（ほぼ$ 7 / hr、時は金なりです！）。このインスタンスには8つの800GB SSDがあります。 私はfioSSD自体でテストを行い、次の出力を得ました（トリミング）： $ sudo fio --name randwrite --ioengine=libaio --iodepth=2 --rw=randwrite --bs=4k --size=400G --numjobs=8 --runtime=300 --group_reporting --direct=1 --filename=/dev/xvdb [trimmed] write: io=67178MB, bw=229299KB/s, iops=57324, runt=300004msec [trimmed] 4Kランダム書き込みの57K IOPS。立派な。 次に、raidz18 つすべてにまたがるZFSボリュームを作成しました。最初は8つのSSDすべてを含む1つのvdevがありましたが、これがパフォーマンスに悪い理由について読んだので、4つのmirrorvdevができました。 $ sudo zpool create testpool mirror xvdb xvdc mirror xvdd xvde mirror xvdf xvdg mirror xvdh …

12 amazon-web-services  zfs  zfsonlinux 

問題 最近、新しいディスクをインストールし、その上にzpoolを作成しました。 /# zpool create morez /dev/sdb しばらく使用した後、かなり遅いことに気付きました。 /morez# fio --name rw --rw rw --size 10G read: IOPS=19.6k, BW=76.6MiB/s (80.3MB/s)(5120MiB/66834msec) write: IOPS=19.6k, BW=76.6MiB/s (80.3MB/s)(5120MiB/66834msec) このテストは、実際の使用例とかなり似ています。ディスクから適度な数（〜10k）の画像（それぞれ〜2 MiB）を読み取っています。ディスクがほとんど空のときにそれらは一度にすべて書き込まれたので、断片化されるとは思わない。 比較のために、ext4をテストしました。 /# gdisk /dev/sdb ... /# mkfs.ext4 -f /dev/sdb1 && mount /dev/sdb1 /mnt && cd /mnt /mnt# fio --name rw --rw rw --size 10G …

11 performance  hard-drive  zfs  zfsonlinux 

8つのzpoolを持つZFSサーバーがあります。各プールは、10 + 2 RAIDZ構成の12個の6TBディスクです。したがって、各プールには、12 * 6 = 72 TBのrawストレージスペースと10 * 6 = 60 TBの使用可能スペースがあります。私はそれが使用してクエリを実行する場合しかし、私は別の結果を参照してくださいzfs list使用して対をzpool list以下のように： # zfs list NAME USED AVAIL REFER MOUNTPOINT intp1 631K 48.0T 219K /intp1 intp2 631K 48.0T 219K /intp2 intp3 631K 48.0T 219K /intp3 jbodp4 631K 48.0T 219K /jbodp4 # zpool list NAME SIZE ALLOC …

11 zfs  zfsonlinux 

Linux上のカーネル2.6.32-431.11.2.el6.x86_64の下に、単一のvdevを持つZFS zpoolがあります。vdevはSANデバイスです。SANのサイズを拡張しました。zpoolがにautoexpand設定されているonにもかかわらず、マシンを再起動し、プールをエクスポート/インポートし、を使用した後でもzpool online -e、プールを拡張できませんでした。vdevがfdisk215GiBから250 GiBに増加したことを示しているので、vdevはより大きくなっています。これが私がしたことのサンプルです： [root@timestandstill ~]# zpool list NAME SIZE ALLOC FREE CAP DEDUP HEALTH ALTROOT dfbackup 214G 207G 7.49G 96% 1.00x ONLINE - [root@timestandstill ~]# zpool import -d /dev/disk/by-id/ pool: dfbackup id: 12129781223864362535 state: ONLINE action: The pool can be imported using its name or numeric identifier. config: …

10 linux  zfs  zfsonlinux 

Ubuntu 18.04で、256K以上のリクエストサイズのシーケンシャルな読み取りと書き込み（バックアップ用）を介して構築された大きなZFSプールを実行しています。高いスループットとスペース効率の必要性、およびランダムな小ブロックパフォーマンスの必要性が少ないことを考慮して、ストライプミラーではなくストライプraidz2を使用しました。 ただし、256Kのシーケンシャルリードパフォーマンスは予想よりもはるかに低くなっています（100〜200MBps、ピークは最大600MBps）。zvolがiostatで最大99％のiowaitに達している場合、バッキングデバイスは通常10から40％のiowaitで動作します。これは、バックプレーンまたはCPUであってはならないので、ボトルネックが構成に欠けていることを示唆していますこのシステム、およびシーケンシャルワークロードは、ARCをあまり強く動作させるべきではありません。 私はモジュールパラメータ（以下の現在の構成）でかなり遊んだり、数百の記事を読んだり、OpenZFS githubの問題などを行ったりしました。プリフェッチと集約を調整すると、このパフォーマンスレベルになりました。デフォルトでは、約50MBpsで実行していました。 ZFSがディスクにTINYリクエストを送信していたため、シーケンシャルリード（約16K）。集約とプリフェッチは正常に機能していると思いますが（おそらく）、iostatのディスク読み取りは平均で約64Kです。 NICはLIO iscsiターゲットであり、cxgbitオフロード+ Windows Chelsio iscsiイニシエーターはZFS zvolsの外側で適切に機能し、直接マッピングされたオプタンがNICでほぼフルラインレートを返します（約3.5GBpsの読み取りと書き込み）。 期待しすぎですか？ZFSはパフォーマンスよりも安全性を優先することを知っていますが、7x9 raidz2が単一の9ドライブmdadm raid6よりも優れた順次読み取りを提供することを期待しています。 システムの仕様とログ/構成ファイル： Chassis: Supermicro 6047R-E1R72L HBAs: 3x 2308 IT mode (24x 6Gbps SAS channels to backplanes) CPU: 2x E5-2667v2 (8 cores @ 3.3Ghz base each) RAM: 128GB, 104GB dedicated to ARC HDDs: 65x HGST 10TB HC510 …

9 performance  storage  zfs  iscsi  zfsonlinux 

私はZFSにかなり慣れていないので、8つのドライブを備えたシンプルなミラー化ストレージプールをセットアップしました。数週間実行した後、1つのドライブで多くのエラーが発生するようだったので、交換しました。 さらに数週間経つと、プール全体に小さなエラーが発生するようになりました（zpool status以下の出力を参照）。これについて心配する必要がありますか？エラーがドライブを交換する必要があることを示しているかどうかをどのように判断できますか？ # zpool status pool: storage state: ONLINE status: One or more devices has experienced an unrecoverable error. An attempt was made to correct the error. Applications are unaffected. action: Determine if the device needs to be replaced, and clear the errors using 'zpool clear' or replace the …

9 hard-drive  zfs  zfsonlinux