私はZFSにかなり慣れていないので、8つのドライブを備えたシンプルなミラー化ストレージプールをセットアップしました。数週間実行した後、1つのドライブで多くのエラーが発生するようだったので、交換しました。
さらに数週間経つと、プール全体に小さなエラーが発生するようになりました(zpool status
以下の出力を参照)。これについて心配する必要がありますか?エラーがドライブを交換する必要があることを示しているかどうかをどのように判断できますか?
# zpool status
pool: storage
state: ONLINE
status: One or more devices has experienced an unrecoverable error. An
attempt was made to correct the error. Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
using 'zpool clear' or replace the device with 'zpool replace'.
see: http://zfsonlinux.org/msg/ZFS-8000-9P
scan: scrub repaired 22.5K in 1h18m with 0 errors on Sun Jul 10 03:18:42 2016
config:
NAME STATE READ WRITE CKSUM
storage ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
enc-a ONLINE 0 0 2
enc-b ONLINE 0 0 0
mirror-1 ONLINE 0 0 0
enc-c ONLINE 0 0 0
enc-d ONLINE 0 0 2
mirror-2 ONLINE 0 0 0
enc-e ONLINE 0 0 2
enc-f ONLINE 0 0 1
mirror-3 ONLINE 0 0 0
enc-g ONLINE 0 0 0
enc-h ONLINE 0 0 3
errors: No known data errors
ZFSは「デバイスを交換する必要があるかどうかを判断する...」と私に教えてくれますが、その方法がわかりません。私は参考になった記事を読みましたが、それは役に立ちましたが、完全に決定的ではありませんでした。
影響を受けたドライブのSMARTテスト結果を確認しましたが、何も飛び出していません(すべてのテストはエラーなしで完了しました)が、役立つ場合は、SMARTデータも投稿できます。
更新: Memtest86 +で再起動する準備をしているときに、コンソールで多くのエラーに気づきました。私は通常SSHで接続しているので、以前は表示されませんでした。どのログを確認すればよいかわかりませんが、画面全体が次のようなエラーでいっぱいになりました(正確なエラー行ではなく、別のフォーラムからコピーしただけです)。
blk_update_request: I/0 error, dev sda, sector 220473440
一部のグーグルからは、このエラーは不良ドライブを示している可能性があるようですが、このようにすべてが一度に失敗しているとは信じがたいです。ここからどこへ行くのか?
更新2:このZOLの問題は、自分の問題に関連している可能性があるようです。OPのように、私はhdparmを使用してドライブをスピンダウンしており、同様のZFSチェックサムエラーやblk_update_request
エラーが発生しています。私のマシンはまだMemtestを実行しているので、現時点ではカーネルまたはZFSバージョンを確認できませんが、これは少なくとも可能性のあるように見えます。私はまた、一種の落胆したこの同様の質問を見ました。ZFSの問題とドライブのスピンダウンについて誰か知っていますか?
更新3: LSIコントローラーのファームウェアとドライバーのバージョンが一致しないと、このようなエラーが発生する可能性がありますか?ドライバーバージョン20.100.00.00とファームウェアバージョン17.00.01.00を実行しているようです。カードの更新されたファームウェアをフラッシュすることは価値がありますか?
# modinfo mpt2sas
filename: /lib/modules/3.10.0-327.22.2.el7.x86_64/kernel/drivers/scsi/mpt2sas/mpt2sas.ko
version: 20.100.00.00
license: GPL
description: LSI MPT Fusion SAS 2.0 Device Driver
author: Avago Technologies <MPT-FusionLinux.pdl@avagotech.com>
rhelversion: 7.2
srcversion: FED1C003B865449804E59F5
# sas2flash -listall
LSI Corporation SAS2 Flash Utility
Version 20.00.00.00 (2014.09.18)
Copyright (c) 2008-2014 LSI Corporation. All rights reserved
Adapter Selected is a LSI SAS: SAS2308_2(D1)
Num Ctlr FW Ver NVDATA x86-BIOS PCI Addr
----------------------------------------------------------------------------
0 SAS2308_2(D1) 17.00.01.00 11.00.00.05 07.33.00.00 00:04:00:00
更新4:dmesg
出力でさらにいくつかのエラーをキャッチしました。何がこれらを引き起こしたのかはわかりませんが、LSIコントローラーのファームウェアを更新する準備として、アレイ内のすべてのドライブをアンマウントした後に気付きました。ファームウェアのアップデートで問題が解決するかどうか少し待ってみますが、それまでのエラーは次のとおりです。どういう意味かよくわかりません。
[87181.144130] sd 0:0:2:0: [sdc] FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_OK
[87181.144142] sd 0:0:2:0: [sdc] CDB: Write(10) 2a 00 35 04 1c d1 00 00 01 00
[87181.144148] blk_update_request: I/O error, dev sdc, sector 889461969
[87181.144255] sd 0:0:3:0: [sdd] FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_OK
[87181.144259] sd 0:0:3:0: [sdd] CDB: Write(10) 2a 00 35 04 1c d1 00 00 01 00
[87181.144263] blk_update_request: I/O error, dev sdd, sector 889461969
[87181.144371] sd 0:0:4:0: [sde] FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_OK
[87181.144375] sd 0:0:4:0: [sde] CDB: Write(10) 2a 00 37 03 87 30 00 00 08 00
[87181.144379] blk_update_request: I/O error, dev sde, sector 922978096
[87181.144493] sd 0:0:5:0: [sdf] FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_OK
[87181.144500] sd 0:0:5:0: [sdf] CDB: Write(10) 2a 00 37 03 87 30 00 00 08 00
[87181.144505] blk_update_request: I/O error, dev sdf, sector 922978096
[87191.960052] sd 0:0:6:0: [sdg] FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_OK
[87191.960063] sd 0:0:6:0: [sdg] CDB: Write(10) 2a 00 36 04 18 5c 00 00 01 00
[87191.960068] blk_update_request: I/O error, dev sdg, sector 906238044
[87191.960158] sd 0:0:7:0: [sdh] FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_OK
[87191.960162] sd 0:0:7:0: [sdh] CDB: Write(10) 2a 00 36 04 18 5c 00 00 01 00
[87191.960179] blk_update_request: I/O error, dev sdh, sector 906238044
[87195.864565] sd 0:0:0:0: [sda] FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_OK
[87195.864578] sd 0:0:0:0: [sda] CDB: Write(10) 2a 00 37 03 7c 68 00 00 20 00
[87195.864584] blk_update_request: I/O error, dev sda, sector 922975336
[87198.770065] sd 0:0:1:0: [sdb] FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_OK
[87198.770078] sd 0:0:1:0: [sdb] CDB: Write(10) 2a 00 37 03 7c 88 00 00 20 00
[87198.770084] blk_update_request: I/O error, dev sdb, sector 922975368
更新5: LSIコントローラーのファームウェアを更新しましたが、ZFSエラーをクリアしてスクラブした後、同じ動作が見られます(いくつかのドライブでの小さなチェックサムエラー)。次のステップは、ドライブ自体のファームウェアを更新することです。
更新6: U-NAS NSC800ケースを持つ他の人々が提供されたライザーに問題があったことをいくつかのフォーラムで読んだ後、PCIライザーを交換しました。チェックサムエラーへの影響はありませんでした。HDDファームウェアの更新は、プロセスが非常に面倒なため延期してきましたが、それを吸い込んで起動可能なDOSフラッシュドライブを作成するときが来たと思います。
アップデート7: 3つのSeagateドライブのファームウェアをアップデートしました。他のドライブには、利用可能なファームウェアアップデートがないか、または入手できませんでした(Western Digitalから、ドライブのファームウェアアップデートはないと通知されました)。最初のスクラブ後にエラーはポップアップしませんでしたが、これで問題が解決したと言う前に、少なくとも1〜2週間はエラーを表示します。3つのドライブのファームウェアがこのようにプール全体に影響を及ぼしている可能性は、私には非常にありそうにありません。
更新8:チェックサムエラーが以前と同様に復活しました。マザーボードのファームウェアの更新を調べるかもしれませんが、この時点では困っています。残りの物理コンポーネント(コントローラー、バックプレーン、ケーブル)を交換することは困難/費用がかかります。セットアップ(ZFS + Linux + LUKS +アイドルドライブのスピンダウン)に問題がないことを100%確信していません。他のアイデアは大歓迎です。
アップデート9:まだこれを追跡しようとしています。私の状況といくつかの類似点があるこの質問に出くわしました。そこで、私は先に進んでzpoolを再構築しashift=12
、問題が解決するかどうかを確認しました(運がよかった)。次に、弾丸を噛んで新しいコントローラーを購入しました。Supermicro AOC-SAS2LP-MV8 HBAカードをインストールしました。これで問題が解決するかどうかを確認するために、1〜2週間与えます。
アップデート10:これを締めくくるだけです。新しいHBAカードが挿入されてから約2週間が経過しましたが、ジンクする危険性があるため、チェックサムエラーは発生していません。これを整理するのを手伝ってくれたすべての人に心からの感謝を。