ハードドライブに書き込む方法は?


41

Googleはハードドライブの障害について非常に徹底的な調査を行い、ハードドライブの大部分は、使用率が最初の3か月以内に障害になることを発見しました。

私の同僚と私は、すべての新しいハードドライブにバーンインプロセスを実装して、テストされていない新しいドライブで時間を無駄にすることから心痛を軽減できると考えています。しかし、バーンインプロセスを実装する前に、より経験のある他の人からいくつかの洞察を得たいと思います。

  • 使用を開始する前にハードドライブに書き込むことはどれくらい重要ですか?
  • バーンインプロセスをどのように実装しますか?
    • ハードドライブでどれくらいの時間書き込みますか?
    • ドライブの書き込みに使用するソフトウェアは何ですか?
  • バーンインプロセスにはどのくらいのストレスがかかりますか?

編集:ビジネスの性質上、RAIDはほとんどの場合使用できません。全国に頻繁に郵送される単一のドライブに依存する必要があります。できるだけ早くドライブをバックアップしますが、データをバックアップする機会を得る前に、あちこちで障害が発生します。

更新

私の会社はしばらくの間バーンインプロセスを実装しており、非常に有用であることが証明されています。在庫のあるすべての新しいドライブをすぐに焼き付けて、保証の期限が切れる前や新しいコンピューターシステムにインストールする前に多くのエラーを見つけることができます。また、ドライブが不良になったことを確認することも有用であることが証明されています。コンピューターのいずれかでエラーが発生し始め、ハードドライブが主な疑いがある場合、そのドライブでバーンインプロセスを再実行し、エラーを調べて、RMAプロセスを開始するか投げる前にドライブが実際に問題であることを確認しますゴミ箱に入れて。

バーンインプロセスは簡単です。多くのSATAポートを備えた指定されたUbuntuシステムがあり、各ドライブで4回のパスで読み取り/書き込みモードでbadblocksを実行します。簡単にするために、「すべてのドライブからデータが削除されます」という警告を出力し、システムドライブを除くすべてのドライブで不良ブロックを実行するスクリプトを作成しました。


15
不思議なことに、なぜドライブを全国に郵送するのですか?バーンインが検出する理由よりも、ショック障害と郵便サービスによる一般的な誤操作の結果として、ドライブ障害が発生する可能性が高いようです。
Paperjam

6
@Lie Ryan:メーリングストレージハードウェアは、依然としてデータを転送する最速の方法です。インターネットは非常に低速であり、組織のネットワークやファイアウォールを通過する必要がある場合、さらに悪化します。
ジョナス

4
@Lie Ryan:政府が機密データを扱う場合、SSHはしません。一般に、そのデータを含むコンピューターは、パブリックインターネットに接続されない場合があります。ギガバイトの機密データを転送する場合は、暗号化されたドライブを郵送するのが最も効率的なオプションです。
ベンザド

3
@リー・ライアン:そのとおり。非常に高速なインターネット接続であっても、7TBを配信するには1か月かかります(自分と受信者のスループットを自由に制御できる場合)。UPSの場合、7TBは翌日そこにあります。
ジョナス

5
モバイルチームが大量のデータを収集している場合を除き、それは素晴らしいことです。つまり、ホテルやモバイルインターネット接続に依存する必要があり、8時間以上同じ場所にいることはありません。
フィル

回答:


36

使用を開始する前にハードドライブに書き込むことはどれくらい重要ですか?

優れたバックアップと優れた高可用性システムがあれば、それほど多くはありません。障害からの復元は非常に簡単なはずです。

バーンインプロセスをどのように実装しますか?ドライブの書き込みに使用するソフトウェアは何ですか?バーンインプロセスにはどのくらいのストレスがかかりますか?

通常、ドライブまたは新しいシステムを入手したら、それに対して不良ブロックを実行します。予備の山からコンピューターを復活させるたびに実行します。このようなコマンド(badblocks -c 2048 -sw /dev/sde)は、実際には、異なるパターン(0xaa、0x55、0xff、0x00)で毎回4回すべてのブロックに書き込みます。このテストは、大量のランダムな読み取り/書き込みをテストするためのものではありませんが、すべてのブロックが書き込みおよび読み取り可能であることを証明する必要があります。

また、実行することができボニー++、またはIometerのツールをベンチマークしています。これらは、ドライブに少しストレスをかけようとするはずです。ドライブは、最大にしようとしても失敗しないはずです。だからあなたは彼らが何ができるかを見ようとするかもしれません。私はこれをしませんが。インストール/セットアップ時にストレージシステムのI / Oベンチマークを取得することは、将来パフォーマンスの問題を見ているときに非常に役立つ可能性があります。

ハードドライブでどれくらいの時間書き込みますか?

私の意見では、バッドブロックを1回実行するだけで十分ですが、非常に強力なバックアップシステムがあり、HAのニーズはそれほど高くないと考えています。私がサポートするほとんどのシステムでサービスを復元するために、ある程度のダウンタイムを費やすことができます。マルチパス設定が必要だと思われるほど心配している場合は、とにかくRAID、適切なバックアップ、および適切なHA設定が必要です。

急いでいる場合は、バーンインをスキップできます。私のバックアップとRAIDは問題ないはずです。


49

IMNSHO、バーンインプロセスに頼って不良ドライブを取り除き、データを「保護」するべきではありません。この手順を開発して実装するには時間がかかり、他の場所でより適切に使用でき、ドライブがバーンインに合格した場合でも、数か月後に失敗する可能性があります。

RAIDとバックアップを使用してデータを保護する必要があります。いったんそれが設置されたら、ドライブを心配させてください。優れたRAIDコントローラーとストレージサブシステムには、「スクラビング」プロセスがあり、データを頻繁に調べ、すべてが正常であることを確認します。

他の人が述べたように、すべてが期待どおりに動作することを確認するためにシステム負荷テストを実行するのに害はありませんが、すべての処理が完了したら、ディスクスクラブを実行する必要はありません。個々のディスクについてはまったく心配しません。


コメントで述べたように、特定のユースケースにハードドライブを使用することはあまり意味がありません。それらを出荷すると、バーンインを行ったときにそこにないデータエラーが発生する可能性がはるかに高くなります。

テープメディアは、出荷されるように設計されています。単一のIBM TS1140ドライブで250MBps(または最大650MBps圧縮)を取得できます。これはハードドライブよりも高速です。さらに大きい-単一のカートリッジで最大4TB(非圧縮)を提供できます。

テープを使用したくない場合は、SSDを使用してください。HDDよりもはるかに粗く扱うことができ、これまでに指定したすべての要件を満たします。


結局のところ、あなたの質問に対する私の答えは次のとおりです。

  • 使用を開始する前にハードドライブに書き込むことはどれくらい重要ですか?
    どういたしまして。
  • バーンインプロセスをどのように実装しますか?
    • ハードドライブでどれくらいの時間書き込みますか?
      1回または2回の実行。
    • ドライブの書き込みに使用するソフトウェアは何ですか?
      シンプル言う、の実行、shredおよびbadblocks行います。後でSMARTデータを確認してください。
  • バーンインプロセスにはどのくらいのストレスがかかりますか?
    ストレスはありません。爆発することなく、ディスクに何でも投げることができるはずです。

1
この投稿についての唯一の残念な点は、一度だけ投票できることです。@フィル、あなたはそこで車輪を再発明しています。ランダムドライブ(または他の関連するハードウェア)の障害でデータが失われないようにする方法は、バックアップとRAIDアレイです。
ロブモアー

8
私はあなたがそれに依存するべきではないことに同意しますが、実稼働に移行する前にシステムに対してスキャンを実行すると、潜在的な問題を数回特定しました。急いでいない場合は、通常、コンピューターに1日か2日スキャンさせても何も害はありません。
ゾレダチェ

7
この回答の投票数は最高ですが、質問への回答が最も多くありません。OPは、RAIDは不可能であると述べています。「単一のドライブが全国に郵送されている」場合、レイドは構築できません。バックアッププロセスは用意されていますが、OPは、ドライブが故障した場合に時間を節約するために、あらゆるものを探しているようです。(注:私はOPと同じ会社で働いているので、状況がわかっているので、データが配信されるとRAIDにコピーされます)仮にドライブを焼き付けたとしたら、どうですか?
jsmith

3
その場合、質問はこのコンテキストを提供する必要があります。あなたが言っていることから、質問は「私たちはカタツムリの郵便/貨物でハードドライブを送る必要があります。失敗を最小限に抑えるためにそれらを出荷する前にどのようにバーンインテストを行うべきですか?」面白いことに、答えは変わりません。ドライブのペアを送ってください!または、テープを使用してください。テープはこの方法で使用するように設計されていますが、HDDはそうではありません。より多くの情報は異なる答えにつながります。
MikeyB

2
テープは、ハードドライブほど高速にデータを書き込むことができませんか?250MBps(非圧縮)では十分ではありませんか?バーンインプロセスは、実際にはユースケースの障害から保護するのに役立つとは言えません。
MikeyB

8

あなたの明確化を考えると、バーンインプロセスはあなたにとって何の役にも立たないように思えます。ドライブは、主に熱と振動の機械的要因が原因で故障します。あらゆる種類の隠された時限爆弾のためではありません。「バーンイン」プロセスは、インストール環境を他と同様にテストします。一度物を動かすと、元の場所に戻ります。

しかし、ここにあなたを助けるかもしれないいくつかのポインターがあります:

通常、ラップトップドライブは、デスクトップドライブよりも振動や振動に耐えるように設計されています。そのため、データリカバリショップで働く私の友人は、常にラップトップドライブでクライアントにデータを出荷しています。私はこの事実を一度もテストしたことがありませんが、一部の業界では「常識」のようです。

フラッシュドライブ(USBサムドライブなど)は、あらゆるメディアの中で最も耐衝撃性に優れています。フラッシュメディアを使用すると、転送中にデータが失われる可能性はさらに低くなります。

ウィンチェスタードライブを出荷する場合は、使用する前に表面スキャンを行ってください。または、さらに良いことに、使用しないでください。代わりに、特定のドライブを「出荷」ドライブとして指定することもできます。これは、すべての不正行為を確認できますが、データの整合性には依存しません。(つまり、出荷のためにデータをドライブにコピーし、出荷後にコピーします。両側のチェックサムが非常に大きくなります)。


「一度物を動かすと、元の場所に戻ります。」- 違います。ディスクのMTTFグラフは次のようになります。cs.cmu.edu / ~ bianca / fast /img13.pngcs.ucla.edu / classes /spring09 / cs111 /scribe / 16 /…初期のテストでフィルタリングできます多くの問題のあるドライブを製造する場合、メーカーは実際にこれらのストレステストを行ってより信頼性の高い製品を作成しますが、もちろんグラフが平坦になるまでテストを行うのは経済的ではありません。
カロリーHorvath

3
@yi_H:タイラーは、おそらく初期の失敗の原因は出荷プロセス自体にあると考えていると思います(信じられないことですが、ドライブの故障と郵送頻度をプロットしたグラフを見たいです)。全国で、MTTFはリセットされます。そのため、3か月ごとにドライブを郵送する場合、常に初期障害ゾーンにいます。
ライライアン

5

あなたのプロセスが間違っています。RAIDアレイを使用する必要があります。私が働いている場所では、持ち運びできるように設計された高耐久化されたRAIDアレイを作成しました。ロケット科学ではありません。大きなゴム製防振装置を備えた大型エンクロージャーにドライブを衝撃的に取り付けると、信頼性が大幅に向上します。(Seagate constellation-esドライブは、例として300Gショックに定格がありますが、非動作時は2G振動のみです。そのため、輸送ケースはドライブを振動絶縁する必要があります。http://www.novibes.com/Products&productID=62またはhttp ://www.novibes.com/Products&productId=49 [part#50178])

ただし、実際にテスト用ハードドライブで書き込みたいので、ここに進みます。

私はハードドライブのようなシステムに取り組み、いくつかの問題を発見しましたが...

障害を引き出すためのPCBの加速されたライフサイクルテストでは、いくつかのホット/コールドサイクルに勝るものはありません。(ホットコールドサイクルの動作はさらに良くなりますが、特にHDDのバンクでは、実行が難しくなります)

一度に取得するドライブの数に見合った環境チャンバーを手に入れましょう。(これらは非常に高価で、RAIDアレイを出荷する方が安くなります)湿度制御とプログラム可能なランプが必要なテストチャンバーを削ることはできません。

最小保管温度から最大保管温度までの2つの繰り返し温度ランプでプログラムし、ランプを急勾配にして、ハードドライブメーカーのアプリケーションエンジニアを混乱させます。12時間で3回のコールドホットサイクルで、ドライブがかなり早く故障するはずです。このように少なくとも12時間ドライブを実行します。あとで仕事があれば、私は驚くでしょう。

私はこれを考えていませんでした:同じテスト機器でより多くの製品を出荷するために、私たちが生産エンジニアにこれをやらせた場所は1つでしたゼロ。


5

基本的に「バーンインを気にせず、良いバックアップをとる」という答えにはすべて同意しません。

常にバックアップを作成する必要がありますが、システムが焼き付けられていないドライブで実行されていたため、昨日(通常の10時間のシフトに加えて)9時間をバックアップから復元しました。

RAIDZ2構成には6台のドライブがあり(ZFSはRAID-6に相当)、約45日間稼働していたボックスで18時間かけて3台のドライブが死にました。

私が見つけた最良の解決策は、特定のメーカーからドライブを購入し(混在させないで)、提供されたツールを実行してドライブを実行することです。

私たちの場合、Western Digitalを購入し、DOSベースのドライブ診断を起動可能なISOから使用します。起動し、ディスク全体にランダムガベージを書き込むオプションを実行してから、短いSMARTテストに続いて長いSMARTテストを実行します。これは通常、すべての不良セクタ、読み取り/書き込み再割り当てなどを取り除くのに十分です...

一度に8台のドライブに対して実行できるように、まだ「バッチ処理」する適切な方法を見つけようとしています。Linuxでは「dd if = / dev / urandom of = / dev / whatever」または「badblocks」を使用するだけです。

編集:私はそれを「バッチ処理」するためのより良い方法を見つけました。最終的に、特定のニーズに対処するためにネットワーク上でPXEブートサーバーを設定することになり、Ultimate Boot CDをPXEブートできることに気付きました。PXEブートしてドライブ診断を実行できるジャンクマシンがいくつかあります。


3
あなたは何を知っていますか?質問に答え、OPで説教しない答え。+1
elBradford

3
ランダムデータをドライブに書き込む場合は、/ dev / urandomから読み取らないでください。ブロッキングのいとこ/ dev / randomほど遅くはありませんが、まだ遅く、実際には何も得られません。代わりに、ランダムキー(/ dev / urandomまたは/ dev / randomから取得可能)を使用して単純なdm-cryptマッピングを設定し、マッピングされたデバイスに/ dev / zeroをddするだけです。おそらく、2倍の速さと1桁の速さの間のどこかになります。gitlab.com/cryptsetup/cryptsetup/wikis/FrequentlyAskedQuestions「暗号グレードのランダム性でデバイスを消去するにはどうすればよいですか?」その方法の例があります。
CVn

優れた提案@MichaelKjörling
アーロンC.デBruyn

3

使用を開始する前にハードドライブに書き込むことはどれくらい重要ですか?

場合によります。
冗長性(1、5、6、10)を提供するRAIDで使用している場合は?そうでもない。
スタンドアローンを使用している場合は?少しですが、少なくとも私の意見では、代わりにsmartdまたはそれを監視するものを実行した方が良いでしょう。

これは当然、「バーンインプロセスをどのように実装しますか?という私の答えにつながります -しません。
ディスクを「焼き付け」ようとするのではなく、冗長ペアで実行し、予測監視(SMARTなど)を使用して、ドライブが不安定になったことを知らせます。完全なバーンイン(実際にディスク全体を実行する)を行うために必要な余分な時間は、ディスク障害やスワップアウトを処理するよりもかなり高価であることがわかりました。
RAIDと適切なバックアップを組み合わせると、乳児死亡率に対処する場合(または、ドライブが老齢で死んでしまう場合の浴槽のもう一方の治療法)であっても、データは非常に安全になります。


1
ドライブが一定の場所にないためにドライブを監視できない場合はどうなりますか?:)
jsmith

2
@jsmith-監視ホストからポーリングするのではなく、通知を送信します-本当に監視できない状況はほとんどありません。少し創造的な思考を必要とする状況はありません :)
voretaq7

2

Spinrite(grc.com)は、ドライブ上のすべてのデータを読み書きします。失敗させようとしていない場合でも、新しいドライブに対して行うのは良いことです。レベル4で実行するには長い時間がかかります。通常、現在のサイズのドライブでは数日かかります。また、非破壊的であることも付け加えてください。実際、不良な場所にデータがある場合、移動して回復します。もちろん、SSDで実行することはありません。


1

ハードドライブを「焼き付ける」には、1週間に1回のベンチマークとエラーチェックで十分です。あなたの投稿以来、私はそのようなことを聞​​いたことがありませんが。

Stroagereview.comの「6_6_6」から引用

1. Connect the drive to a running system. Read SMART values.

2. Do a SMART short self test. Do a SMART long self-test.

3. Zero fill / Wipe the drive with the manufacturer's utility. Entire drive.

4. Run HDTach full read/write. Everest / Sandra, etc all have stress tests. Run hard drive part continously for hours.

5. Run Victoria for Windows Read/Write test and make sure no slow sectors.

6. Drop to DOS. Run MHDD, run a LBA test and see check for slow sectors. Run Read/Write/Verify test. Run drive internal ATA secure erase command.

7. Do a full format.

8. Compare SMART values. If no anomalies, all good to go. Install your OS and continue.

全体として、私は個人的にそれは悪い考えだと思います。

編集:Scource:http ://forums.storagereview.com/index.php/topic/27398-new-hdd-burn-in-routines/


0

最初に、あなたのユースケースがテープドライブがより良いオプションであることを示唆しているという他のポスターに同意します。

それが不可能な場合、全国をドライブする必要がある場合、より多くのドライブを輸送する必要があるため、真のRAIDはオプションではないようで、障害のリスクが高まります。ただし、一方のドライブを送信し、もう一方をソースサイトに保持する単純なミラーリングスキームはどうでしょうか。

その後、ドライブが到着時に故障した場合、新しいコピーを作成して送信できます。ドライブの到着が良好な場合、スペアを再利用できます-元のデータの送信またはバックアップのために。


0

ドライブが出荷される理由を実際に述べていません-これは単なるデータ送信の方法ですか、PCで起動できる完全なアプリケーション/ OSイメージを持っているのでしょうか?

ドライブを出荷すると機械的な問題が発生するリスクがあるため、RAIDまたはバックアップはスキャンよりも優れているという他の回答に同意します。

より一般的な方法は、「エラーをキャッチして修正するために冗長データに依存する」ことです。データセットごとに2台のドライブを出荷するか、単一のドライブで冗長データを出荷します。Parchiveのようなものを使用すると、定義されたレベルの冗長性をデータに追加できるため、データの大部分が破損した場合でもリカバリが可能になります。ディスクは最近非常に安価であるため、厳密に必要なサイズよりも大きいディスクを購入するだけで、ドライブのスキャン、交換用ドライブの発送、または2台のドライブの発送よりも安くなることがよくあります。

これにより、ドライブの致命的ではない障害から保護されます-ただし、以前に提案したように、出荷を除き、出荷済みのドライブを再使用しないことをお勧めします。インストールされ、どこにも出荷されません。

これにより、大量のデータ(またはアプリケーション/ OSイメージ)を出荷し、ディスクエラーの影響を経済的なレベルにまで減らすことができます。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.