タグ付けされた質問 「zfs」

複数のディスクにまたがり、データの破損から自身を修復し、データの重複排除、暗号化などを行うことができる高度なファイルシステム。

1
データを失うことなくLVM / EXT4をZFSに変換
2 x 3TBドライブを搭載したホームメディアサーバーがあります。現在mdraid(1)、LVMおよびEXT4を使用して設定されています。セットアップはncurses Ubuntuサーバインストーラを使って行われました。 ゴール セットアップをZFS(RAIDZ)を使用するように変換し、3台目の3TBドライブを追加します。オンザフライでの圧縮と重複排除を有効にしたいです。変換はUbuntuとすべてのパッケージの再インストールを必要とするべきではありません。データの損失があってはいけません(もちろんディスクがクラッシュしない限り)。 どうやってこれをやるの? ボーナスの質問ですが、これはbtrfsを使用したほうがよいのですが、1つのディスクでアレイを初期化し、データをコピーしてから2つ目のディスクをztrfsではなくbtrfsで追加できます。 私の/ proc / mdstat: Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] md4 : active raid1 sdb2[1] sda2[0] 2930070069 blocks super 1.2 [2/2] [UU] unused devices: <none> 私のPV - V Scanning for physical volume names PV VG Fmt Attr PSize …
3 raid  lvm  mdadm  zfs 

1
KVM共有フォルダに対するファイルシステムのアクセス許可の戦略
私は(NFS経由で)ZFSデータセット(別名ファイルシステム)にアクセスできるUbuntu / KVMハイパーバイザー環境を持っています。私は、VMイメージをZFSファイルシステム上でホストしてきました。これは、世界で最も速いものではありませんが、非常に安定したものにしています。 KVM共有機能を使用してVMにZFSデータセットへのアクセスを許可し、それをゲスト内にマウントすることで、ゲストVMにZFSファイルシステムへの直接アクセスを許可します。これには2つの理由があります。 私が今持っているものであるZFS上のext4の代わりにただ一つのファイルシステム構造 - ZFS - が維持されるので、私は速度の改善を望んでいます。 ユーザーにZFSのスナップショット機能にアクセスできるようにしたいです。 私は説明したようにボリュームをマウントすることに成功しましたが、ボリュームが書き込み可能になるようにマウントすることはできませんでした。 Webを検索すると、実効ユーザー名がlibvirt +であることがわかりましたが、見つけることができませんでした。 chmod 動作するターゲットファイルシステムに設定します。 誰かがこれを処理する方法についてのガイドを私に向けることができますか?
2 ubuntu  nfs  zfs  linux-kvm  qemu 

0
ZFSが連続的に配列に書き込まない
まえがき私は決してLinuxのエキスパートユーザーではありませんが、危険であるほど十分にLinuxで遊んでいます。 私はパーソナルサーバーを構築しています。基本的にはビデオや写真の保存場所として使用するためだけです。現在の仕様は以下のとおりです。 ギガバイトGA-G41M-ES2Lマザーボード Core 2 Duo E6750(2.66GHz)CPU 4GB DDR2 RAM Vantec UGT-ST644R PCIe SATAカード(RAIDは使用されていません) 2×1.5TBおよび2×1.0TBのハードドライブ 64GB SSD(起動ドライブ用) Ubuntu Server 14.04.3 LTSをSSDにインストールし、ZFSonLinuxをインストールしました。 こちら(アルステクニカ) 。また、Samba(バージョン4.1.6-Ubuntu)もインストールされています。これは、残りの(Windows 7以降の)コンピュータ(最終的には2台または3台)からサーバーにアクセスするために使用しています。 4台のドライブすべてがVantecコントローラカードに接続され、各ペアがミラーリングされてZPoolに追加され、合計2.5TBの容量が得られます。 SSDはオンボードコントローラに直接接続されています。 それが機能するとき、それは美しく機能する、しかし... 大量のデータをアレイに書き込むとき、最初の約500MBの「書き込み」は(キャッシュに)うまくいきますが、その後ZFSは約30秒間待機します(を使用してモニターします)。 zpool iostat <pool_name> 1 より多くのデータを受け入れている間に約350MBのキャッシュをアレイに書き込み、約30秒待ち、さらに多くのデータを受け入れている間に約350MBのキャッシュをアレイに書き込み、約30秒待つなど。 。この30秒のチャンクでは、何もしておらず(0 in、0 out)、アイドル状態のままです。 ネットワークリンクは(実際には多分)約5秒で350MBを埋めることができ、プロセス全体に多くのデッドタイムを残します。 このボトルネック/「呼吸」を取り除く方法はありますか? 変更してみた zfs_txg_timeout 値(デフォルトは5秒なので、これはありそうにないようですが、1秒は役に立たないようです)。 また、最小キャッシュ値と最大キャッシュ値をそれぞれ2GBと3GBに設定しましたが、それでも比較的小さいキャッシュから始めます。 ゆっくり 育ちます。私はこの間にシステムのメモリが使用されているのを見ましたが、ZFSは、すべてが待機しているときでも、RAMの使用量を急激に増やすことには消極的です。 私はZFSが異なるサイズのvdevにまたがってストライプできるようにする方法が好きですが、説明されている振る舞いは大量のデータを確実にそれに転送するのにそれを使用することを次に不可能にします。 現在の設定を修正するための提案、または同等に機能する代替案の提案はありますか。洞察力を事前にありがとう。それ以上の情報が必要な場合は、私に知らせてください。 サイドノート: 私はアレイ上でローカルディスクのベンチマークを実行しましたが、Windowsコンピュータとネットワークの両方を除外して、同じ動作がそこに現れました。 ランニング sync …

1
Usb 3.0外付けハードドライブ上のZfsファイルシステムは可能ですか?
外付けUSB 3.0ハードドライブがシステム(Linux)をインストールするための非常に良いソリューションではないと仮定すると、UFS 3.0外付けハードドライブにZfsファイルシステムをインストールすることの特定の欠点はありますか? また、インストールしているシステム(windows、linux、solaris、openindiana。)は違いがありますか?

2
zfsセットアップの質問
現在、私はext3でraid-5に4x750gbハードドライブを搭載したLinuxストレージボックスとサーバーを所有しています。これをアップグレードするために3x1.5tbディスクを注文しました。これが私の予定されているアップグレードです: バックアップ: 1.5 TBディスクをフォーマットします raid-5ディスクから1.5tbディスクにすべてのデータをコピーします raid-5アレイを破壊します。 新しいセットアップ: VirtualBoxシステムを作成し、Nexenta(OpenSolaris + ubuntu)をインストールします。 4つの750gbディスクでzraid1を使用してzfsプールを作成します。 1.5tbディスクからvirtualbox zfsプールにコピーします 1.5tbディスクをフォーマットします。 3つの750gbディスクを1.5tbディスクに交換します。 750gbディスクを別の場所で再利用します。 750gbのディスクを1つ使用したいのは、raidzアレイでディスク数を増やすことができないためです。これにより、後で追加の750gbストレージ用にそのディスクを交換するオプションが提供されます。 ZFSのパフォーマンスは、virtualboxを介して良好に動作しますか?または、パフォーマンスのオーバーヘッドが大きすぎますか?zraidに1.5tb + 1.5tb + 750gbのストレージを取得できますか?または、すべてのディスクが1.5テラバイトになるまで750ギガバイト3だけですか?
2 linux  virtualbox  zfs 

1
テープからZFSスナップショットを読み取るのが遅い
使用してzfsスナップショットをテープにバックアップしました。 zfs send tank/vertex@2017-01-20 | pv -cCTrbB 1g | pigz -c | pv -cCTrbB 1g | dd of=/dev/nst0 bs=1M そしてそれを使って読み返す dd if=/dev/nst0 bs=1M | pv -c | gzip -dc | ztreamdump そしてそれはの最高速度で進歩している 39 MiB/s、それははるかに遅いです 77 MiB/s またはそれが書いたように。 編集:私はちょうどテープをいっぱいにしてみた dd if=/dev/urandom of=/dev/nst0 bs=1M count=1k それからそれを読み返すことができた 99 MiB/s。
1 backup  zfs  gzip  tape 

0
多目的ホームサーバー/ NASメモリ要件
自宅用にNASを作成しています。本社ネットワークNASには4TBのデータ(ZFS RAID1)と8ギガバイトのECCメモリがあります。 CPUはE3 - 1230 v3です。サーバーとVMでUbuntu 16.04 LTSを実行します。私のホームネットワークは、4台のラップトップ、6台のAndroid携帯電話、2台のテレビ(WIFIとギガビットイーサネットで接続)をサポートします。 私はKVM仮想マシンを「ホーム」活動をサンドボックス化するためにセットアップすることを計画しています - これらはNextcloudサーバー、DNLAメディアプレーヤー、写真とドキュメントのストア、そしてSMBサーバーになるでしょう。 VMホスト上で、私はいくつかのOpenVPNクライアントとおそらくサーバーを実行し、バックアップを行い、私の仕事のためにDRBDを実行しますLaptop。 誰でもアドバイスできますか - Family VMに割り当てるのにどれくらいのRAMが必要ですか? (それはそれに利用可能なストレージの約TBを持っているでしょう - いくつかの小さなファイル、たくさんの写真とビデオ。 Family VMにディスクを提供する最も実用的な方法は何ですか?排他的に使用するためにZVOL(ブロックデバイス)を作成する必要がありますか?NFSまたはp9_virtioを使用しますか? (KVMでVirtFSを使ったことは一度もありません)
1 memory  nas  zfs  nextcloud 

0
透過的な圧縮を処理するコンテナ形式またはアクティブなFUSEファイルシステムはありますか?
私はしばらく前にOSXでZFSを試しましたが、結果は気に入りました(lz4はテストした典型的な低パフォーマンスのmicroSDカードのパフォーマンスを向上させるのに役立ちました)早く。私はFUSEベースのソリューションを探していましたが、fusecompressやlessfsなど、私のニーズにぴったりの多くのプロジェクトが死んでいるか、OSXポートがありません。 ありがとう!
1 compression  zfs  fuse 

1
最小限のダウンタイムでzfsプールを移行する方法は?
2つの5TBミラードライブと2つの1TBミラードライブを備えたRAID1 ZFSプールがあり、2つの1TBデバイスを4TBのものと交換したい。以来zpool add[1]、取り消し可能であり、それは所望のレイアウトで再現した後プールをDestoryは必要があります。 だから 私は、zpool detachミラーリングされたデバイスを編し、彼らと新しいプールを作成しました。 次のコマンドがマウントポイントの重複のために失敗した後、私はそれを使用して代替ルートでそれを元に戻し、再インポートしました zpool import -R /mnt/data1 現在migrate1実行中のスナップショットを作成して実行できるようにしsudo zfs send -R data@migrate1 | sudo zfs receive -F data1ました。 今、私はzfs sendパイプを完了した後、最善の手順を知りたいと思います。なぜなら、理解するには、再起動後に古いプールdataを代替ルートにマウントし、新しいプールdata1を代替ルートなしで削除して削除する必要があるからです古いプールを作成し、そのデバイスを新しいプールに接続できるようにします。別の方法があるかもしれません。 Linux 4.13.0-16-genericでUbuntu 17.10のソースからビルドされたZFS 0.7.0-182_gc0daec32f8およびSPL 0.7.0-20_g35a44fcbを使用しています。 私はチェックした ZFSプールをFreeBSDからUbuntuに安全に移行できますか?UbuntuとFreeBSDのフォーマットについてですが、私は同じUbuntuのままです LVMをZFSに移行します。ZFSには、マウントポイントの重複や、ALTROOT これは複雑であり、1TBのデバイスをプール内に保持しても害がないことはわかっていますが、それは問題の一部ではありません。 [1]これをhttps://github.com/zfsonlinux/zfs/issues/6857でZFSOnLinuxの問題としてリクエストしました。これは、複雑な計画/ロードマップへのリンクを提供します
1 linux  ubuntu  raid  migration  zfs 

1
ZFSプールでオンラインディスクのIDを取得するにはどうすればよいですか?
ミラー化されたZFS zpool(ZoLを使用)の物理ディスクを出し入れして、オフサイトバックアップに使用します。プロセスを合理化するために、スワップされているドライブに応答するためにudevルールを使用しています。 現在、ドライブを挿入するときzfs attachに、プール内の既存のドライブの名前を必要とするを使用します。現時点では、オフサイトにならないディスクの1つにハードコードされています。 それでは、IDをハードコーディングするのではなく、ターゲットプールのオンラインディスクのIDを取得するにはどうすればよいですか?現在、私はそれをgrepすることをいじってzpool statusいますが、より良いオプションがあるかもしれないと思っていました。

1
ZFS + dedup:たくさんの小さなファイルを速くコピーする
私は、Webサイトをバックアップし、それらを保持して保存するために、ZFSバックアップサーバー(重複排除機能付き)を実行しています。これを行うには、最初のバックアップ時にすべてのファイルをバックアップサーバーに転送し、それらすべてのファイルのコピーを作成して、保持するセットと翌日のバックアップを同期するセットを作成します。 ただし、これらすべてのファイルのローカルコピーを作成するのには15 GBのデータしかないまま3時間以上かかりますが、別のサーバーから転送すると30分しかかかりません。これはおそらく、 "cp"コマンドが一度に1つの(小さい)ファイルを読み取り、それをストレージに書き込むためです。これにはメカニックディスクとそのシーク時間(3ディスクのraidZ)で数時間かかります。 コピーが最初にファイルごとにデータを読み込むのではなく、最初に大量のデータをメモリに読み込み、次にそれを書き込む場合は、これはおそらく修正されます。

3
rsyncを使用したZFSプールのバックアップ
現在、個人ファイルを保存するためのFreeNASボックスを持っています。オフサイトのバックアップが必要ですが、ZFSを適切に実行できる2台目のコンピューターにお金を費やすつもりはありません。そのため、を使用してリモートバックアップを取ることを計画していましたrsync。 バックアップ内のすべてのファイルに一貫性を持たせたいので、最初に再帰的なスナップショットを作成し、次にを使用してそれを転送することでできると考えましたrsync。ただし、データセットごとに個別のスナップショットが作成されます。 今、私はすべてのデータセットを含む再帰的なスナップショットを表示する方法があるかどうか、またはrsync全体に他の推奨される方法があるかどうか疑問に思っていますzpool。データセット自体に存在するシンボリックリンクを保持し.zfsたいので、データセット内のフォルダへのrsyncシンボリックリンクだけでは機能しないと思います。 編集 私が受け取ったコメントに基づいて、希望する構成の詳細が整っていると思います。自宅にNASを用意して、快適にデータを配置できるようにしたいと考えています。それを失うことはまずないでしょう。私にとって、これは複数のコピーをオンサイトに、複数のコピーをオフサイトに、物事が非常に悪くなった場合のオフラインコピー、偶発的な削除の場合のデータの定期的なスナップショット、およびデータエラーを防ぐ手段(ビット腐敗など)を意味します。イベントが発生する可能性が低いほど、大災害後にデータの複数のコピーを持たないことになり、スナップショットをあまり気にしなくなります。また、通常は別のデバイスにコピーがあるため、新しいデータよりも古いデータの方が重要です。最後に、ほとんどのファイルはあまり頻繁に更新されないことに注意してください。転送のほとんどは新しいファイルになります。 私の以前のセットアップは、4TBの外部ハードドライブが接続された2つのRaspberry Piのセットでした。この戦略に対する信頼を失いましたが、ハードウェアはすぐに利用できました。いくつかの調査の結果、エラーが時間を経て潜入するのを防ぐ唯一の方法は、ECC RAMやUPSなどのサーバーグレードコンポーネントと組み合わせたZFSなどのチェックサムファイルシステムを使用することであると思われました。私のローカルコピーでは、このルートに行きました。ミラーで2x4TBディスクを使用し、ここで定期的なスナップショットを作成します。 このマシンは、オフサイトバックアップとオフラインバックアップを除くすべてのケースをカバーする必要があります。私はこれらのバックアップを必要としない可能性が高いため、あまり多くの投資をするつもりはありません。したがって、私はすでに横になっていたRaspberry Piと外部ディスクを使用できると考えました。一方のディスクが常にオフラインで、もう一方のディスクがバックアップを受信するようにできます。ディスクを定期的に変更すると、古いデータのオフラインバックアップを作成できます。 簡単なルートが使用することですzfs sendし、receive二つのプール、各ディスク上の1に。ただし、Raspberry PiとハードドライブへのUSB接続を組み合わせた場合、zfs動作するための非常に信頼性の高い環境(またはそのためのファイルシステム)は提供されません。使用するディスクは1つだけなのでzfs、障害から回復するための信頼できる手段はありません。 それが私が一緒に行きたいext3かext4一緒にしたい理由rsyncです。確かに、いくつかの不良ビットがディスクに書き込まれる可能性があります。メタデータの場合、これらの問題のほとんどを修正するツールがあります。データブロックの場合、単一のファイルが失われます。また、rsync -c不正なチェックサムを検出し、ローカルマシン上の既知の正常なコピーからファイルを再度転送するため、ファイルを使用して回復できます。理想的とは言えないハードウェアを考えると、これは可能な限り最良のソリューションのようです。 それが私が使用する理由でありrsync、それがどのようにrsync反抗するかという当初の質問につながりましたzfs snapshot。私があなたのアドバイスのどれにも触れなかった場合、私は本当に代替案を受け入れているので私に知らせてください。私は現在、それらがどのように私に利点を提供しているか見ていない。
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.