有効なレプリカのないホットスペアをZFSに強制的に切り離すとどうなりますか？

6つのRAIDZで構成されたZFSプールがあります。2つのディスクが故障する前に最初の故障からZFSが回復できなかった単一のRAIDZ内の2つのディスクを失うことにより、RAIDZの1つが劣化しました。再起動直後の「zpool status」の出力は次のとおりです。

  pool: pod2
 state: DEGRADED
status: One or more devices has experienced an error resulting in data
        corruption.  Applications may be affected.
action: Restore the file in question if possible.  Otherwise restore the
        entire pool from backup.
   see: http://www.sun.com/msg/ZFS-8000-8A
 scrub: resilver in progress for 0h6m, 0.05% done, 237h17m to go
config:

        NAME                                                 STATE     READ WRITE CKSUM
        pod2                                                 DEGRADED     0     0 29.3K
          raidz1-0                                           ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_W1F165XG    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_W1F1660X    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_W1F1678R    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_W1F1689F    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_W1F16AW9    ONLINE       0     0     0
          raidz1-1                                           ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_W1F16C6E    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_W1F16C9F    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_W1F16FCD    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_W1F16JDQ    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_W1F17M6V    ONLINE       0     0     0
          raidz1-2                                           ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_W1F17MSZ    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_W1F17MXE    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_W1F17XKB    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_W1F17XMW    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_W1F17ZHY    ONLINE       0     0     0
          raidz1-3                                           ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_W1F18BM4    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_W1F18BRF    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_W1F18XLP    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_Z1F09880    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_Z1F098BE    ONLINE       0     0     0
          raidz1-4                                           DEGRADED     0     0 58.7K
            disk/by-id/scsi-SATA_ST3000DM001-9YN_Z1F09B0M    ONLINE       0     0     0
            spare-1                                          DEGRADED     0     0     0
              disk/by-id/scsi-SATA_ST3000DM001-9YN_Z1F09BEN  UNAVAIL      0     0     0  cannot open
              disk/by-id/scsi-SATA_ST3000DM001-1CH_W1F49M01  ONLINE       0     0     0  837K resilvered
            disk/by-id/scsi-SATA_ST3000DM001-9YN_Z1F0D6LC    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_Z1F0CWD1    ONLINE       0     0     0
            spare-4                                          DEGRADED     0     0     0
              disk/by-id/scsi-SATA_ST3000DM001-9YN_Z1F09C8G  UNAVAIL      0     0     0  cannot open
              disk/by-id/scsi-SATA_ST3000DM001-1CH_W1F4A7ZE  ONLINE       0     0     0  830K resilvered
          raidz1-5                                           ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-1CH_Z1F2KNQP    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_Z1F0BML0    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_Z1F0BPV4    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_Z1F0BPZP    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_Z1F0BQ78    ONLINE       0     0     0
          raidz1-6                                           ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_Z1F0BQ9G    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_Z1F0BQDF    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_Z1F0BQFQ    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_Z1F0CW1A    ONLINE       0     0     0
            disk/by-id/scsi-SATA_ST3000DM001-9YN_Z1F0BV7M    ONLINE       0     0     0
        spares
          disk/by-id/scsi-SATA_ST3000DM001-1CH_W1F49M01      INUSE     currently in use
          disk/by-id/scsi-SATA_ST3000DM001-1CH_W1F4A7ZE      INUSE     currently in use
          disk/by-id/scsi-SATA_ST3000DM001-1CH_W1F49MB1      AVAIL   
          disk/by-id/scsi-SATA_ST3000DM001-1ER_Z5001SS2      AVAIL   
          disk/by-id/scsi-SATA_ST3000DM001-1ER_Z5001R0F      AVAIL   

errors: 37062187 data errors, use '-v' for a list

最初のディスクに障害が発生したとき、私はそれをホットスペアと交換し、それが回復し始めました。リシルバーが完了する前に、2つ目のディスクが故障したため、2つ目のディスクを別のホットスペアに交換しました。それ以来、再同期を開始し、約50％完了し、メモリがすべて消費されてOSがクラッシュするまでメモリをどんどん飲み始めます。

サーバーのRAMをアップグレードすることは、現時点では簡単なオプションではありません。アップグレードしても解決策が保証されるかどうかは、はっきりしません。この段階でデータが失われることは理解していますが、この1つのRAIDZの内容を犠牲にして、残りのプールを保持できる場合、これは完全に許容できる結果です。このサーバーのコンテンツを別のサーバーにバックアップしていますが、メモリ消費の問題により、48時間ごとに再起動（またはクラッシュ）が発生し、rsyncバックアップが中断され、rsyncの再起動に時間がかかります（中断したところが判明したら再開しますが、これには非常に長い時間がかかります）。

ZFSが2つのスペア交換操作に対処しようとしているのはメモリ消費の問題の根本にあると思うので、ZFSが一度に1つずつ動作できるように、ホットスペアの1つを削除したいと思います。ただし、スペアの1つを切り離そうとすると、「/ dev / disk / by-id / scsi-SATA_ST3000DM001-1CH_W1F49M01：有効なレプリカがありません。切り離せません」というメッセージが表示されます。おそらく-fオプションを使用して操作を強制することができますが、その結果がどのようになるかは明確ではないので、先に進む前に誰かが入力を持っているかどうかを確認したいと思いました。

システムが安定した状態になり、バックアップが完了するまで動作可能な状態が続く場合は、オーバーホールのためにシステムを停止することを計画していますが、現在の状態では、回復ループが少し続いています。

現在、UNAVAILディスクを切り離すことができます。ZFSはとにかくそれらを使用していません。

RAIDZ-1セットアップで2つの故障したディスクがあります。データ損失が発生している可能性が高く、バックアップから復元する準備ができているはずです。

補足として、RAIDZはOpenSolaris / Solaris11での私の経験で非常に不安定であることが証明されています。あらゆる種類の本番ワークロードでは使用しないことをお勧めします。

また、ewwhiteの発言を補強するために、FUSEは最良の選択肢ではありません。この機会に、もっと安定したもの（おそらくFreeBSD 10）に移行したいと思います。