タグ付けされた質問 「disaster」

クライアントのサイトの1つが先週（13日金曜日に偶然にも！）直撃を受けました。 私はサイトから離れていましたが、現場で誰かと仕事をしていると、奇妙なダメージのパターンを発見しました。両方のインターネットリンクがダウンしており、ほとんどのサーバーにアクセスできませんでした。損傷の多くはMDFで発生しましたが、1つのファイバー接続IDFもスイッチスタックメンバーのポートの90％を失いました。他の場所でケーブル配線を再配布して再プログラムするのに十分な予備のスイッチポートが利用できましたが、影響を受けるデバイスを追いかけている間にダウンタイムがありました。 これは新しい建物/倉庫施設であり、多くの計画がサーバールームの設計に組み込まれました。メインサーバールームは、発電機に支えられたAPC SmartUPS RT 8000VAダブルコンバージョンオンラインUPSで運営されています。接続されたすべての機器に適切な配電が行われました。オフサイトのデータ複製とシステムのバックアップが実施されていました。 全体として、損傷（私が知っている）は次のとおりでした。 Cisco 4507R-Eシャーシスイッチの障害のある48ポートラインカード。 4メンバースタックで障害が発生したCisco 2960スイッチ。（おっと...ゆるいスタッキングケーブル） Cisco 2960スイッチのいくつかの不安定なポート。 HP ProLiant DL360 G7マザーボードおよび電源。 Elfiq WANリンクバランサー。 1つのMultitech FAXモデム。 WiMax /固定無線インターネットアンテナとパワーインジェクター。 多数のPoE接続デバイス（VoIP電話、Cisco Aironetアクセスポイント、IPセキュリティカメラ） 問題のほとんどは、Cisco 4507R-Eでスイッチブレード全体が失われることに関連していました。これには、VMware NFSネットワークの一部と、サイトのファイアウォールへのアップリンクが含まれていました。VMWareホストに障害が発生しましたが、ストレージネットワーク接続が復元されると、HAがVMの面倒を見ました。ファンキーな電源状態をクリアするために、多くのデバイスの再起動/電源の再投入を余儀なくされました。回復までの時間は短かったのですが、どのような教訓を学ばなければならないのか興味があります... 将来的に機器を保護するには、どのような追加の保護を実装する必要がありますか？ 保証と交換にはどうすればよいですか？シスコとHPは、契約中の品目を交換しています。高価なElfiq WANリンクバランサーのWebサイトには、基本的に「ネットワークサージプロテクターを使用してください」という宣伝文句があります。（彼らはこのタイプの失敗を期待しているようです） 私は過去に雷雨の被害に遭うほど長くITに携わってきましたが、影響は非常に限られていました。たとえば、安価なPCのネットワークインターフェイスやミニスイッチの破壊。 不安定な機器を検出するためにできることは他にありますか、それとも奇妙な振る舞いが浮上するのを待つだけですか？ これはすべて不運だったのでしょうか、それとも災害復旧で実際に考慮されるべきものでしたか？ 十分な$$$があれば、あらゆる種類の冗長性を環境に組み込むことができますが、ここでは予防的/思慮深い設計とリソースの効果的な使用の合理的なバランスは何ですか？

55 networking  datacenter  electrical-power  disaster 

更新： EMCは保証とサポートを廃止したため、これは保険のケースになります。デルによると、専門の清掃代理店に依頼してサーバーを改修し、保証を維持することができます。シスコは「たぶん」と言います。HPはまだ黙っています:( 最終更新： EMCは方向転換し、認定企業からのクリーニングを承認しました。VNXは本日出荷され、正常に機能します。サーバールームの残りの部分も掃除されており、損失は2、3のテープドライブに限定されています。保険会社は、他のほぼすべての請求書を受け取ります。 元の質問： これがストーリーです。 私たちがオフィススペースをリースする建物の所有者は、外装の改修を行うことにしました。これには、コンクリートの壁に収まる窓の交換など、サーバールームのレベルでのかなり重い作業が必要でした。 彼らが私たちのサーバールームで同じことをするつもりだと聞いたとき、私の赤い警告は消えました（はい、私たちのサーバールームには窓があります。3つのラックがある小さな店です。私は明示的に請負業者に、ラックと元の壁の間に一時的な壁を設置する必要があることと、一時的な壁が100％空気で水密であることを確認するように伝えました。彼らはそうすることを約束した。 一時的な壁には小さなドアがあり、従業員が1日中出入りできるようになっています（サーバールームを介して、唯一の選択肢でした...）。いくつかの機会に、夜/夜働いている間に小さなドアが半分閉じられているのを見つけることができました。私はドアをロックし、彼らはすぐにポイントを獲得し、ドアを閉じたままにするといいと思った。電気技師がドアをきちんと閉めなかったのを見たとき、私は一口も与えました。 この時点までに、ほとんどの人が何が起こったのかを把握しているに違いない。はい、彼らはおそらくコンクリートに穴を開けている間、ドアを開いたままにした。 4週間前のEMC VNXを紹介します。 ちょっとしたボーナスも付けます。APCUPSは、一時的な壁から1ラック離れたところにあります。私の指から素敵な小さな着陸帯が見えますか？ 私は何をすべきか？頭に浮かぶ唯一のことは、すべてのサプライヤー（EMC、HP、Dell、Cisco）に電話して、技術者を派遣してサーバールームのすべてのギアをチェックアウトするか、何らかの認定されたサードパーティのコンサルタントをもらうことです。すべてをチェックします。このギアで生産システムを実行しますか？どのぐらいの間？ また、私たちの小さな部屋の性質を考えると、私たちのエアコンは正確にエンタープライズグレードではありません。私がここで仕事を始める前に一度故障したのは、ただ一つのインバーターです（故障したインバーターは、通常、水滴につながります）。

50 server-room  disaster 

最近、ハリケーンを経験し、サーバールームが浸水しました。保険に万歳。とにかく、ハードドライブの1つからできるだけ多くのデータを保存する必要があります。はい、2日間の大半は水没しました。 ドライブを開いて、洪水がないことを確認する必要がありますか？底面のボードを取り外してフォームを乾燥させる必要がありますか？すべてが必要です。 任意の提案が役立ちます。 前もって感謝します！

32 disaster-recovery  data-recovery  server-room  flooding  disaster 

ロックされています。この質問とトピックへの回答はロックされています。質問はトピックから外れていますが、歴史的に重要です。現在、新しい回答や相互作用を受け入れていません。 この先週末、私たちはここバージニアで激しい嵐を経験しました。もちろん、日本の危機は、物事が一瞬で悪化することを思い出させます！「竜巻が私のデータセンターを襲った場合、準備はできていますか？」 I have great backup systems "in my rack" including a tape backup. Because the data center is not close moving tapes off site is not possible. What I'd like to find or create is a system that on a schedule that can backup critical items such as web …

8 backup  disaster