サーバールームで何かが燃えています。どうすればそれがすぐに識別できますか？

先日、サーバールームからひどい燃えるような匂いがすることに気付きました。簡単に言えば、UPSユニットで燃え尽きるバッテリーモジュールの1つになりましたが、それを理解するまでに数時間かかりました。私たちがそれを理解できた主な理由は、UPSディスプレイが最終的にモジュールの交換が必要であることを示したことです。

ここに問題がありました：部屋全体が匂いで満たされていました。匂いがすべてに染み込んでいたので、においテストを行うのは非常に困難でした（言うまでもなく、私たちは頭がおかしくなりました）。臭いが最も強かったので、実稼働データベースサーバーをほぼ誤ってダウンさせました。重要な点は問題ないように見えました（CPU温度は60℃で、ファンの速度は問題ありませんでした）が、確信がありませんでした。たまたま燃えたバッテリーモジュールは、ラック上のサーバーとほぼ同じ高さで、わずか3フィートしか離れていませんでした。これが本当の緊急事態だったら、惨めに失敗していたでしょう。

現実的には、実際のサーバーハードウェアが燃焼する可能性は非常にまれであり、ほとんどの場合、UPSが原因であると考えています。しかし、複数の機器を備えた複数のラックを使用すると、すぐに推測ゲームになります。どの機器が実際に燃え尽きているのか、どのようにして迅速かつ正確に判断しますか？この質問は、部屋の大きさ、換気、場所などの環境変数に大きく依存することを理解していますが、どんな入力でも歓迎します。

一般的なコンセンサスは、あなたの質問への答えは2つの部分にあるということです。

変な燃えるような臭いの原因をどのように見つけますか

あなたは、「方法」を非常によく把握している：

• 「スニフテスト」
• 目に見える煙/ hを探します
• サーマル（IR）カメラで部屋を歩き、ホットスポットを見つける
• アラートの監視およびデバイスパネルを確認する

さまざまな方法で問題をすばやく見つける可能性を高めることができます。多くの場合、監視の改善が最も簡単です。尋ねるべき質問：

• 機器から温度やその他の健康警告を受け取りますか？
• UPSシステムは、監視システムに障害を報告していますか？
• 配電機器から電流引き込みアラームを受け取りますか？
• 部屋の煙探知器は監視システムに報告していますか？（そして、彼らはできますか？）

Big Red Switchを打つときと打つときのトラブルシューティングのタイミングはいつですか？

これはもっと興味深い質問です。
大きな赤いスイッチを押すと、急いであなたの会社に莫大なお金がかかる可能性があります：クリーンエージェントのリリースは数万ドルになり、緊急電源オフ後の停止/回復コスト（EPO、「部屋を落とす」） ）は壊滅的です。
電源のコンデンサが飛び出し、部屋の臭いがしたため、データセンターを落とすことは望ましくありません。

逆に、サーバールームで火災が発生すると、会社のデータ/機器、さらに重要なことにスタッフの命が奪われます。
「あの変な燃焼臭」のトラブルシューティングは安全性よりも優先されるべきではないため、「発射前」の状態のトラブルシューティングに関する明確なルールを持つことが重要です。

以下のガイドラインは、明確に定義された他の手順/規則がない場合（またはそれに加えて）私が適用する個人的な制限です-彼らは私に役立っており、あなたを助けるかもしれませんが、私を殺したり、明日解雇されますので、ご自身の責任で適用してください。

1. 煙や火が見られたら、部屋を落とす
   これは言うまでもありませんが、とにかく言ってみましょう：アクティブな火（またはすぐにあることを示す煙）がある場合は、部屋を避難し、電源を切り、火を放電します抑制システム。
   例外が存在する可能性があります（何らかの常識を行使します）が、これはほとんど常に正しいアクションです。

2. トラブルシューティングを行う場合は、少なくとも1人の他の人を常に関与させる
   これは2つの理由によるものです。まず、データセンター内をうろうろすることは望ましくありません。また、突然、ラックが下に並んでいるのに上がってしまい、誰もあなたがそこにいることを知りません。第二に、他の人はトラブルシューティングと部屋を落とすことの健全性チェックであり、Big Red Switchを呼び出すために電話をかけると、二人目が決定に同意するという利点があります（キャリア制限の側面を避けるのに役立ちます誰かが後で質問した場合のそのような決定の）。

3. トラブルシューティング中は慎重な安全対策を講じ
   てください常にエスケープパス（行の開いた端と出口への明確なパス）があることを確認してください。
   EPO /消火器リリースに誰かを配置しておいてください。
   消火器を携帯してください（Halonまたは他の洗剤をお使いください）。
   上記のルール＃1を思い出してください。
   疑わしい場合は、部屋を出てください。呼吸に注意してください。人工呼吸器または酸素マスクを使用してください。これは、化学火災の場合にあなたの健康を救うかもしれません。

4. 制限を設定し、それに固執する
   より正確に、2つの制限を設定します。

   • 条件（「これをどれだけ悪化させますか？」）、および
   • 時間（「リスクが大きくなる前に問題を見つけ続ける期間」）。

   あなたが設定した制限はまた、ときに、あなたのチームが被災地の正常なシャットダウンを開始させるために使用することができDOパワーを引き出し、あなたがアクティブなマシンの束をクラッシュしていない、とあなたの回復時間が大幅に短くなりますが、ということを覚えているだろう正常なシャットダウンに時間がかかりすぎる場合は、安全のためにいくつかのシステムをクラッシュさせる必要があります。

5. 腸を信頼する
   いつでも安全性が心配な場合は、トラブルシューティングを呼び出して部屋を片付けてください。
   あなたは腸の感覚に基づいて部屋を落とすかもしれないし、しないかもしれませんが、（比較的）安全に部屋の外に再グループ化することは賢明です。

差し迫った危険性がない場合は、EPOまたはクリーンエージェントのリリースなどの抜本的な措置を講じる前に、地元の消防署に持ち込むことを選択できます。（とにかくそうするように言われるかもしれません：彼らの任務は人々、そして財産を守ることですが、彼らは明らかに火事に対処する専門家ですので、あなたは彼らが言うことをすべきです！）

コメントでこれを取り上げましたが、回答にも要約されているかもしれません-@ DeerHunter、@ Chris、@ Sirex、および他の多くが議論に貢献しました

赤外線カメラで作業を行い、過熱がどこにあるかを特定できます。このようなデバイスを使用すると、煙が充満した部屋での火災または燃焼の原因も特定できます。

あなたは言われたこれらのことのどれもしません。部屋全体に汲み上げられているものはすべて健康に危険であり、実際に肺を台無しにする可能性があるため、危険な環境から離れます。見つけられない部屋で何かが燃えるような刺激的な臭いがある場合は、（911 | 112 | 999 |あなたの管轄に合った緊急電話番号に電話して）火（会社|部|旅団）がそれらを消すボトル入りの空気です。

コンピューターの部品には、水銀、カドミウム、鉛、ケーシング内の多くのプラスチックなど、あらゆる種類の興味深い化学物質が含まれています。私が作成したすべてのリンクは、低レベルの曝露が永続的な損傷や急速な死を引き起こす可能性を説明しています。これは生命と健康にとってすぐに危険な環境です。

...本当に、何かが燃えている場合は、煙を嗅ぐ時間を費やさないでください。あなたがそれを特定できず、すぐにそれを封じ込めるよう行動するなら、出て行ってください。

UPSを適切に監視している場合（通常はSNMP経由）、ユニット自体が監視システムのベルを鳴らしているはずです。そうでない場合は、ベンダーにそのことについて話してください。誤動作しているか、監視システムが適切に構成されていません。

アクティブなものが実際に燃えている場合、何らかの方法でそれについて不平を言っているか、単にネットワークから外れている必要があり、これもアラームを発生させるはずです。

断熱材で燃えている実際の電力レールのようなもので、スマートPDU上にない場合は、元の質問に戻ります。「燃えているものをどうやって見つけるのですか？」そして、適切な答えは「EPOをヒットして把握することだと思います。実稼働サーバーは、おそらく生命を危険にさらすほど重要ではないでしょう」。

これは、次のような状況の1つです

適用されません、専門家に電話する必要があります

それ以外のものはただの愚かです。

電子技術者としての以前の経歴を持つ人として、私は火ではない「燃えるようなにおい」の経験を持っています。これは珍しいことではありません。

私は臭いのためにデータセンターをシャットダウンしません。煙は別の問題で、何かが本当に燃えています（通常、エンドウ豆サイズのタンタルコンデンサは部屋を煙で満たすこともできます）。電源の揚げ物がどれだけ臭いを感じるかは驚くべきことです。

TICまたはIR温度計（有用なツールであり、TICよりもはるかに安価）は、コンポーネントがまったく熱を発生せず、ケース内にあるため、必ずしも表示されません。ただし、機能していないデバイスを確認するには、監視ツールを使用します。そのような臭いの場合、95％の時間はデバイス全体のパフォーマンスに影響を与える電源になります。

私は赤外線画像や温度計の回答が好きですが、多分助けになるのは本当の「匂い検出器」でしょう。結局のところ、あなたの注意を引いたのは匂いでした。煙、熱、IRなどはすべて代理です。

このようなもの：。私は個人的にそれらを使用したことはなく、データセンターで使用されたこともありません。しかし、少なくとも理論的には、きちんとしたツールである必要があります。つまり、このギズモに費やすお金があれば。

http://www.sca-shinyei.com/odormeter または http://www.intopsys.com/products/cyranose.html?gclid=CNXXzOrLs7YCFUws6wodViYApQ

それはあなたに臭気強度と分類を与えます。そのため、匂いに戻ることが可能になります。悪魔はもちろん詳細です。それがどれほど敏感であるか、偽の背景臭などを隠します。

純粋な温度ベースの測定に対する1つの利点は、はるかに早いポイントまたはしきい値で臭気が発生することが多いことです。または、過熱したコンポーネントがボディ/隠された配線などによって隠されている場合、見通し内のホットスポットよりも逃げる分子を検出する方が簡単です。

別の状況は、熱に関係しない臭いです。以前に冷却回路のリークがあり、クーラントの匂いも独特でした。私は、ダクトでent歯類が死んでいる今の古代のケースにさえ入りません。:)

これらのセンサーがどれほど敏感であるかに驚いた。明らかに、H2S /メルカプタンなど（通常の犯人）はサブppmレベルで検出可能です。