タグ付けされた質問 「zfs」

合計4つのドライブを持つZFSミラー化プールがあります。2台のドライブは、オフサイトバックアップのローテーションに使用することを目的としています。私の期待は、最初の再同期detach後attach、ディスクを作成し、後で増分再同期のみを実行できるようにすることですが、テストでは、接続されているディスクにほぼすべてのプールが含まれているかどうかに関係なく、完全再同期を実行しているように見えます内容。 offline/ onlineアプローチを使用すると、完全に再構築するのではなく、ディスクを更新するだけで望ましい結果が得られますか？または、期待どおりにこの作業を行うには、各バックアップディスクを1ディスクプールとして使用しsend、最新のスナップショットを最新の状態にする必要があるときにいつでもそれにスナップショットを書き込むなど、まったく異なることを行う必要がありますか？

10 zfs  zpool  backup 

いくつかのスナップショットを持つzfsファイルシステムのクローンを作成しました。また、ファイルシステムの複製されたコピーがいくつかあります。 クローンがアタッチされているファイルシステム/スナップショットを見つけるにはどうすればよいですか？ （docs / googlableにあるはずのようですが、何も見つかりません）

10 filesystems  zfs 

たとえば、仮想マシンのディスクイメージを含むZFSファイルシステムがあるとします。 /tank/examplevm/examplevm-flat.vmdk さらに、私がそのZFSファイルシステムの毎日のスナップショットを取ると仮定しましょう。 $ zfs snapshot tank@20120716 $ zfs snapshot tank@20120717 明らかに、毎日のスナップショットの間の期間に、私のexamplevm-flat.vmdkに変更が加えられます（ほとんどの場合、イメージのサイズは一定のままですが、仮想ディスクのブロックは変更されます）。 したがって、ZFS diffコマンドは、2つのスナップショット間で変更されたファイルを報告します。 $ zfs diff tank/@20120716 tank@20120717 M /tank/examplevm/examplevm-flat.vmdk ファイルが変更されたことを知るのは良いことですが、vmdkで変更されたバイト/ブロックの数にもっと興味があります。 したがって、次の質問に関するヒントに興味があります。 ZFSには、2つのスナップショット間の特定のファイルで変更されたブロックの数を報告する機能がありますか？ 2つのファイルシステムイメージをバイナリで比較し、変更されたブロックまたはバイトの数を報告する他のツールはありますか？私cmp –l file1 file2 | wc –lはそれがそれを実現していることを理解していますが、それは恐ろしく、恐ろしく遅いです。

10 zfs  diff 

私が持っているHPのProLiant DL380 G7のサーバはNexentaStorストレージユニットとして実行されています。サーバーには36GBのRAM、2つのLSI 9211-8i SASコントローラー（SASエクスパンダーなし）、2つのSASシステムドライブ、12のSASデータドライブ、ホットスペアディスク、Intel X25-M L2ARCキャッシュ、およびDDRdrive PCI ZILアクセラレーターが搭載されています。このシステムは、複数のVMWareホストにNFSを提供します。また、アレイには約90〜100 GBの重複排除されたデータがあります。 パフォーマンスが突然低下する2つのインシデントがありました。VMゲストとNexenta SSH / Webコンソールにアクセスできず、機能を復元するにはアレイを完全に再起動する必要があります。どちらの場合も、失敗した、または「オフライン」になったのはIntel X-25M L2ARC SSDでした。NexentaStorはキャッシュ障害についての警告に失敗しましたが、一般的なZFS FMAアラートが（応答しない）コンソール画面に表示されました。 zpool status出力は示しました： pool: vol1 state: ONLINE scan: scrub repaired 0 in 0h57m with 0 errors on Sat May 21 05:57:27 2011 config: NAME STATE READ WRITE CKSUM vol1 ONLINE 0 0 0 …

10 zfs  ssd  nexenta  zfs-l2arc 

私はWANを介してオフサイトのバックアップ作業を行う任務を負っています。どちらのストレージボックスも、ZFSを実行するFreeBSDベースのNASボックスです。 週に1〜2回、15〜60ギガの写真データがオフィスのNASにダンプされます。私の仕事は、非常に遅いDSL接続（約700Kb / sのアップロード）を使用して、このデータを可能な限り確実にオフサイトで取得する方法を理解することです。受信ボックスは、30Mb / sダウン、5Mb / sアップで、はるかに良い形になっています。 ハードドライブをオフサイトに持ち運ぶと、データの移動がはるかに速くなることはわかっていますが、この場合はオプションではありません。 私のオプションは次のいずれかです： ZFS経由のZFS増分送信 Rsync rsyncは昔からのソリューションであり、何かが中断された場合に送信を再開する非常に重要な機能を備えています。多くのファイルを反復処理し、重複除去について知らないという欠点があります。 ZFSスナップショットの送信では、転送されるデータが少し少なくなる可能性があり（ファイルシステムについて多くのことを理解し、重複排除を実行でき、メタデータの変更をrsyncよりも効率的にパッケージ化できます）、単にコピーするのではなく、ファイルシステムの状態を適切に複製できるという利点があります個々のファイル（ディスクをより集中的に使用します）。 ZFSレプリケーションのパフォーマンスが心配です[1]（その記事は1年前のものです）。何かがダウンした場合に転送を再開できるかどうかも心配です。スナップショット機能にはそれが含まれていないようです。システム全体が完全にハンドオフである必要があります。 [1] http://wikitech-static.wikimedia.org/articles/z/f/s/Zfs_replication.html どちらのオプションを使用しても、指定したポートを介してルーティングし、ルーターでQOSを使用することにより、トラフィックの優先順位を下げることができます。転送には数日かかるので、各転送中に両方のサイトのユーザーに大きな悪影響を与えないようにする必要があります。 だから...それは問題についての私の考えです。良いオプションを見逃しましたか？他の誰かが似たようなものを設定しましたか？

10 backup  freebsd  rsync  zfs  wide-area-network 

CentOS 5 VMWareサーバーが、ディスクイメージを保持するNFSを介してOpenSolaris 2009.06マシンに接続しています。私の仮想マシンは遅いIOによってバインドされているようですので、接続を最適化するためにできる限りのことをしたいと思います。 本番システムでスループットを測定する最良の方法dd bs=1024k count=400はわかりませんが、show local（OpenSolaris）の書き込みが〜1.6GB / s、リモート（CentOS）の書き込みが〜50MB / sの非科学的なテストです。現在、7つのVMが接続を介して実行されているため、これらは実際に得ているものよりも低いと思います。 現在、2台のマシンは直接接続されたgigEであり、ジャンボフレームは両方のNICで有効になっています（MTU = 9000）。それ以外は、最適化は行われていません。NFSマウント/エクスポートはデフォルトを使用しています。 パフォーマンスを向上させるには、ノブをどこから始めればよいですか？

10 centos  nfs  tcpip  opensolaris  zfs 

たとえば、100のスナップショットを含むデータセットがありrm -rf、すべてのスナップショットで「キャッシュ」という名前のすべてのフォルダーを使用するとします。 スナップショットのレイヤーで単に非表示にするだけでなく、実際にスペースを解放したいので、クローンを作成してそこから削除してから新しいスナップショットを撮っても、私が望んでいるようには見えません。 半自動的な方法はそれを行いますか？zfsリスト-tスナップショット、zfsクローン、zfsプロモート、zfsスナップショットのいくつかのラップ？ （/superuser/313197からのクロスポスティング。これにはZFSの要素が多いことがわかります）

10 zfs 

この問題について関連する質問がありますが、複雑すぎて大きすぎたため、問題をNFSとローカルの問題に分割する必要があると判断しました。私はzfs-discussメーリングリストでこれについて尋ねようとしましたが、あまり成功しませんでした。 同じサーバー上のNFS / CIFSディレクトリ間の低速コピー 概要：設定方法と期待される内容 4つのディスクを持つZFSプールがあります。ストライプ化された2つのミラーとして構成された2TB RED（RAID 10）。Linuxでは、zfsonlinux。キャッシュまたはログデバイスはありません。 データはミラー間で分散されます（ZFSにとって重要） 各ディスクは147MB /秒で並列に読み取り（raw w / dd）、合計で588MB /秒のスループットを実現します。 同様の4TB REDディスクのベンチマークに基づいて、各ディスクからのシーケンシャルデータの約115MB /秒の書き込み、138MB /秒の読み取り、および50MB /秒の再書き込みを期待しています。最近はどのディスクでも実行できるため、100MB /秒以上の読み取りまたは書き込みを期待しています。 負荷がかかってシーケンシャルデータの読み取りまたは書き込みを行っているときに、4つのディスクすべてでIO使用率が100％になると思いました。そして、そのディスクは100％の使用率で100MB /秒以上を出力します。 このプールでは、1つのディスクで約2倍の書き込み、2倍の書き換え、4倍の読み取りパフォーマンスが得られると思いました。 NEW同じプールのext4 zvolはZFSとほぼ同じ速度になると思いました 私が実際に得るもの プールの読み取りパフォーマンスが思ったほど高くない 数日前のプールでのbonnie ++ベンチマーク バージョン1.97 ------順次出力-------順次入力--ランダム- 同時実行性1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks-- マシンサイズK /秒％CP K /秒％CP K /秒％CP K /秒％CP K …

10 linux  raid  performance  zfs  zpool 

Linux上のカーネル2.6.32-431.11.2.el6.x86_64の下に、単一のvdevを持つZFS zpoolがあります。vdevはSANデバイスです。SANのサイズを拡張しました。zpoolがにautoexpand設定されているonにもかかわらず、マシンを再起動し、プールをエクスポート/インポートし、を使用した後でもzpool online -e、プールを拡張できませんでした。vdevがfdisk215GiBから250 GiBに増加したことを示しているので、vdevはより大きくなっています。これが私がしたことのサンプルです： [root@timestandstill ~]# zpool list NAME SIZE ALLOC FREE CAP DEDUP HEALTH ALTROOT dfbackup 214G 207G 7.49G 96% 1.00x ONLINE - [root@timestandstill ~]# zpool import -d /dev/disk/by-id/ pool: dfbackup id: 12129781223864362535 state: ONLINE action: The pool can be imported using its name or numeric identifier. config: …

10 linux  zfs  zfsonlinux 

Ubuntu 18.04で、256K以上のリクエストサイズのシーケンシャルな読み取りと書き込み（バックアップ用）を介して構築された大きなZFSプールを実行しています。高いスループットとスペース効率の必要性、およびランダムな小ブロックパフォーマンスの必要性が少ないことを考慮して、ストライプミラーではなくストライプraidz2を使用しました。 ただし、256Kのシーケンシャルリードパフォーマンスは予想よりもはるかに低くなっています（100〜200MBps、ピークは最大600MBps）。zvolがiostatで最大99％のiowaitに達している場合、バッキングデバイスは通常10から40％のiowaitで動作します。これは、バックプレーンまたはCPUであってはならないので、ボトルネックが構成に欠けていることを示唆していますこのシステム、およびシーケンシャルワークロードは、ARCをあまり強く動作させるべきではありません。 私はモジュールパラメータ（以下の現在の構成）でかなり遊んだり、数百の記事を読んだり、OpenZFS githubの問題などを行ったりしました。プリフェッチと集約を調整すると、このパフォーマンスレベルになりました。デフォルトでは、約50MBpsで実行していました。 ZFSがディスクにTINYリクエストを送信していたため、シーケンシャルリード（約16K）。集約とプリフェッチは正常に機能していると思いますが（おそらく）、iostatのディスク読み取りは平均で約64Kです。 NICはLIO iscsiターゲットであり、cxgbitオフロード+ Windows Chelsio iscsiイニシエーターはZFS zvolsの外側で適切に機能し、直接マッピングされたオプタンがNICでほぼフルラインレートを返します（約3.5GBpsの読み取りと書き込み）。 期待しすぎですか？ZFSはパフォーマンスよりも安全性を優先することを知っていますが、7x9 raidz2が単一の9ドライブmdadm raid6よりも優れた順次読み取りを提供することを期待しています。 システムの仕様とログ/構成ファイル： Chassis: Supermicro 6047R-E1R72L HBAs: 3x 2308 IT mode (24x 6Gbps SAS channels to backplanes) CPU: 2x E5-2667v2 (8 cores @ 3.3Ghz base each) RAM: 128GB, 104GB dedicated to ARC HDDs: 65x HGST 10TB HC510 …

9 performance  storage  zfs  iscsi  zfsonlinux 

FreeNAS（11.1-U1）とFreeBSD（11.1-RELEASE-p6）マシンを持っています。FreeNASではzfs receive、委任された権限を持つ非ルートユーザーとして再帰的なスナップショットを作りたいです。これはほとんどの子データセットでうまく機能するようです。しかしdata、刑務所にマウントしてそこから管理できるiocageのデータセットは失敗します。 root@freebsd:~> zfs send -RI "dozer@2018-02-21" "dozer@2018-03-08" | ssh -T -i /root/backup_key backupuser@freenas zfs receive -dvuF neo/backups/freebsd receiving incremental stream of dozer@2018-03-03 into neo/backups/freebsd@2018-03-03 received 312B stream in 1 seconds (312B/sec) receiving incremental stream of dozer@2018-03-07 into neo/backups/freebsd@2018-03-07 received 312B stream in 1 seconds (312B/sec) receiving incremental stream of …

9 freebsd  zfs  freenas  delegation  jail 

36 * 4TB HDD SANラックを持っています。RAIDコントローラは、RAID60をサポートせず、1つのRAIDグループで16台以下のHDDをサポートしました。それで、16HDDの2つのRAID6グループまたは8つのHDDのうちの4つのHDDを作ることにしました。すべてのストレージを1つのパーティションとして取得したい。 それで、ハードウェアRAID6の上でzfsプールを使用する場合、何が問題になる可能性がありますか？ええ、ネイティブHDDまたはパススルーモードを使用することを強くお勧めします。しかし、私にはこのオプションはありません。 または、私はこの状況でZFSとソフトウェアRAIDから離れるべきですか？（私は主に圧縮とスナップショットに興味があります）

9 storage  zfs  storage-area-network  hardware-raid 

状況： SMB経由でWindowsおよびOS Xゲストにファイルを提供するOmniOS r151018（95eaa7e）を実行している単一のファイルサーバーで、次の奇妙な問題が発生しました。 SMB共有の[名前を付けて保存]ダイアログウィンドウから特定のファイル（.docx、.xlsx、一部の画像）を保存すると、約3〜5秒の遅延が発生し、その後アプリケーションがまったく応答しなくなります。ファイルは正常に保存されます。 この問題はサーバーに何も実行せずに「夜間に」発生しましたが、ユーザーからのクレームは最初の発生からしばらくしか経過していないため、正確な日付を正確に特定することは困難です。サーバーの再起動後、ミラー化されたルートプールの1つのvdevは使用できませんでしたが、綿密な調査ではデバイスに障害は検出されず、プールに再接続されました。問題はまだ解決しません。 いくつかの観察： すべてのWindows 7クライアントで発生します すべてのファイルサイズで発生します アクセス許可に関係なく、このマシンのすべての共有で発生します 別のサーバーからiSCSI経由でホストにインポートされたより高速なストレージで発生します 通常のコピー速度はGBitイーサネットで110 MB /秒 データとルートプールは問題ないようです 他のファイルサーバーでは発生しません ファイルがローカルに保存され、エクスプローラー経由でコピーされた場合は発生しません OS Xでは発生しません（OpenOfficeでのみテストできます） dmesgNOTICE: bge0: interrupt: flags 0x0 - not updated?さまざまな値を持ついくつかのカウントを示していますが、これは以前のケースでもあり、害はありませんでした その他のアイデア/計画： 明確なエラーメッセージが見つからないため、原因を探すために試行錯誤を繰り返す必要があるかもしれません。私が検討するいくつかのこと（結果はイタリック体で示されています）： BroadcomネットワークカードをIntelカードに交換=>違いはありませんでした ルートプールをSATA SSDで置き換えます（現在、3年以上正常に機能していたSLCメモリUSBスティック）=>違いはありませんでした 中間のネットワークをチェックします（ハードウェア、サーバーに直接接続） WireSharkによるトラフィックキャプチャ：探しているものが正確にわからない場合は難しい ソフトウェアの競合を除外するために以前のOmniOSブート環境/バージョンに戻す=>違いはありませんでした Windows / Officeの更新をロールバックしてバグを除外する :スナップショットからファイル名に（コロン）を含むファイルを削除します。ewwhite =>によって作成されたredditスレッドでのtxgsyncによる提案は違いを生じませんでした Windowsの「以前のバージョン」機能が「：」文字を含む自動スナップショットで有効になっている場合、これに似たものを見たことがあります。これで風を撃つだけですが、「：」文字はWindowsファイル名では使用できないため、一見の価値があります。 ファイルアクセスの監視：shodanshokにより示唆されるように、私が使用DTraceして、このスクリプトは、ファイルアクセスを監視すること。私はすでに開いているファイルを保存している間にそれを使用し、無関係な出力と個人情報を削除しました、そして結果は3つのファイルを中心にしています： CPU ID FUNCTION:NAME 1 18753 fop_open:entry Open: …

9 zfs  server-message-block  file-server  microsoft-office-2010  omnios 

私はZFSにかなり慣れていないので、8つのドライブを備えたシンプルなミラー化ストレージプールをセットアップしました。数週間実行した後、1つのドライブで多くのエラーが発生するようだったので、交換しました。 さらに数週間経つと、プール全体に小さなエラーが発生するようになりました（zpool status以下の出力を参照）。これについて心配する必要がありますか？エラーがドライブを交換する必要があることを示しているかどうかをどのように判断できますか？ # zpool status pool: storage state: ONLINE status: One or more devices has experienced an unrecoverable error. An attempt was made to correct the error. Applications are unaffected. action: Determine if the device needs to be replaced, and clear the errors using 'zpool clear' or replace the …

9 hard-drive  zfs  zfsonlinux 

ZFSを調査していて、ZFS管理にFreeNASを使用していて、次の質問があります。 ZFSボリュームにiSCSIターゲットを作成するときに、重複排除、自動エラー修正などのZFSの利点はまだ機能しますか？ FreeNASでは、これはおそらくZFSボリュームのターゲットとして使用される生のイメージファイルです。（ファイルベースではなく）ブロックベースであるため、ZFSの利点はまだ適用されますか？ 編集：使用目的は、VMware（ESXi）のストレージになります。

9 freebsd  zfs  freenas