ファイバーチャネルファブリック上のデバイスの正しい配置


10

ファイバーチャネルファブリック用の新しい8 Gbスイッチのペアを取得しています。プライマリデータセンターのポートが不足しているため、これは良いことであり、2つのデータセンター間で少なくとも1つの8Gb ISLを実行できるようになります。

2つのデータセンターは、ファイバーが走るときに約3.2 km離れています。私たちはここ数年、4Gbの安定したサービスを利用しており、8Gbも維持できることを期待しています。

私は現在、これらの新しいスイッチを受け入れるようにファブリックを再構成する方法を考えています。数年前のコスト決定により、完全に独立したダブルループファブリック稼働していません。完全な冗長性のコストは、スイッチ障害のありそうもないダウンタイムよりも高価であると考えられていました。その決定は私の時間の前に行われ、それ以来、物事はあまり改善されていません。

この機会に、スイッチの障害(またはFabricOSのアップグレード)に備えてファブリックの回復力を高めたいと思います。

これが、レイアウトについて私が考えていることの図です。青色の項目は新しいもので、赤色の項目は(削除)される既存のリンクです。

FibreChannelダイグラム
(ソース:sysadmin1138.net

赤い矢印の線は現在のISLスイッチリンクであり、両方のISLは同じスイッチからのものです。EVA6100は現在、ISLのある16/4スイッチの両方に接続されています。新しいスイッチにより、リモートDCに2つのスイッチを配置できるようになり、長距離ISLの1つが新しいスイッチに移動します。

これの利点は、各スイッチが別のスイッチから2ホップ以内であり、EVAレプリケーション関係にある2つのEVA4400が互いに1ホップであることです。グラフのEVA6100は古いデバイスであり、最終的にはおそらく別のEVA4400と交換される予定です。

グラフの下半分は、ほとんどのサーバーが配置されている場所であり、正確な配置についていくつか懸念があります。そこに入る必要があるもの:

  • 10 VMWare ESX4.1ホスト
    • EVA6100上のリソースにアクセスします
  • 1つのフェールオーバークラスター(ファイルサーバークラスター)内の4つのWindows Server 2008サーバー
    • EVA6100とリモートEVA4400の両方のリソースにアクセスします
  • 2番目のフェールオーバークラスター内の2台のWindows Server 2008サーバー(Blackboardコンテンツ)
    • EVA6100上のリソースにアクセスします
  • 2つのMS-SQLデータベースサーバー
    • EVA6400のリソースにアクセスし、夜間のDBエクスポートをEVA4400に送信
  • 2つのLTO4テープドライブを備えた1つのLTO4テープライブラリ。各ドライブには独自のファイバーポートがあります。
    • (このリストに含まれていない)バックアップサーバーはそれらにスプールします

現時点では、ESXクラスターは、スペースのためにVMのシャットダウンを開始する必要がある前に、最大3つ、場合によっては4つのホストのダウンを許容できます。幸い、すべてでMPIOがオンになっています。

現在の4Gb ISLリンクは、私が気づいた飽和に近づいていません。これは、2つのEVA4400の複製によって変わる可能性がありますが、ISLの少なくとも1つは8Gbになります。EVA4400-Aから得られるパフォーマンスを見ると、レプリケーショントラフィックがあっても4Gbのラインを越えるのは難しいと確信しています。

4ノードのファイルサービスクラスターは、SAN1SW4に2つのノード、SAN1SW1に2つのノードを持つことができます。これにより、両方のストレージアレイが1ホップ離れます。

私がやや頭を悩ませている10個のESXノード。SAN1SW4に3つ、SAN1SW2に3つ、SAN1SW1に4つはオプションであり、レイアウトに関する他の意見を聞きたいと思います。これらのほとんどはデュアルポートFCカードを備えているため、いくつかのノードを二重に実行できます。それらのすべてではありませんが、すべてを殺すことなく単一のスイッチが失敗するのに十分です。

2つのMS-SQLボックスは、プライマリストレージに近い必要があり、db-exportパフォーマンスはそれほど重要ではないため、SAN1SW3およびSAN1SW2に配置する必要があります。

LTO4ドライブは現在、メインのストリーマーから2ホップと2ホップ上にあるので、どのように動作するかは既に知っています。これらはSW2とSW3に残すことができます。

グラフの下半分を完全に接続されたトポロジにしないでください。これにより、使用可能なポート数が66から62に減少し、SAN1SW1は25%ISLになります。しかし、それが強く推奨されている場合は、そのルートに進むことができます。


更新:おそらく役立ついくつかのパフォーマンスの数値。私はそれらを持っていました、私はそれらがこの種の問題に役立つと間隔をあけました。

上の図のEVA4400-Aは次のことを行います。

  • 就業日中:
    • ファイルサーバークラスターのShadowCopyスナップショット(平均約​​15〜30秒)の間に、I / Oオペレーションは平均で1000以下でスパイクは4500に急上昇します。
    • MB / sは通常10〜30MBの範囲にとどまり、ShadowCopies中に最大70MBおよび200MBのスパイクが発生します。
  • 夜間(バックアップ)は、実際に速くペダルを踏むときです。
    • I / Oオペレーションの平均は約1500で、DBバックアップ中のスパイクは最大5500です。
    • MB / sはさまざまですが、数時間で約100MB実行され、SQLエクスポートプロセス中に約15分間で300MB / sのすばらしい出力を送ります。

EVA6100は、ESXクラスター、MSSQL、およびExchange 2007環境全体のホームであるため、はるかにビジーです。

  • 日中のI / Oオペレーションは平均で約2000であり、スパイクは最大で約5000(データベースプロセスの増加)であり、平均MB / sは20-50MB / sです。ピークMB /秒は、ファイルサービングクラスターでのShadowCopyスナップショット(〜240MB /秒)中に発生し、1分未満続きます。
  • 夜間、午前1時から午前5時まで実行されるExchange Online Defragは、7800(このスピンドル数でのランダムアクセスのフランク速度に近い)および70MB /秒でI / Oオペレーションをラインに送ります。

私はあなたが持つかもしれない提案をいただければ幸いです。


CA化するシステムの数を知っていますか?「典型的な」部門のOracleベースのシステムでは、約20Mbpsが見られます。
Simon Catlin

@Simonオラクルのものは完全に別の環境にあります。現在、6台のサーバーが長距離ISLを介して通信し、そのうち4台のみが継続的に通信しています。他の2つは1日1〜2回大きなバーストを行います。そのEVAのスループットは平均約15〜30MBpsで、通常のバックアップでは最大150MB、SQLエクスポートでは320MBです(持続時間は約15分)。
sysadmin1138

回答:


6

遅れて申し訳ありません。

あなたが持っているものとあなたが達成したいものを見てきました、私はいくつかの考えを持っていました、ここに最初に良い写真があります...

代替テキスト

  • 現時点でサイト間で8 Gbpsリンクを使用しても意味がないようです。理由は、リモート4400の4 Gbpsポートに制約されているためです。安定した4 Gbpsに加えて、利用可能な帯域幅は実際の使用要件よりはるかに高くなっています。 -今日、24x8スイッチの1つをそこに配置するのは、もったいないようです。リモートサイトでは、16x4Gbスイッチを2つ使用します。
  • 新しい24x8スイッチをメインの「コア」スイッチとして使用したくなります。ほとんどのトラフィックはサーバーから6100であり、新しいボックスの方がはるかに高速です。このようにすると、新しいスイッチのバッファーが大きくなり、待機時間が短くなるため、パフォーマンスが少し向上します。さらに、6100を交換するときと同じように、好きなときに8Gbに移動するサーバーを選択できます。 4600にはネイティブの8Gbポートがありますが、それはまだ公式ではありません;))。
  • 次に、2つのオプションがある設計の一部に入ります。2つの16x4Gb「ミドルスイッチ」を保持または破棄します-純粋にポート数に基づきます。基本的に、24x8スイッチをコアボックスとして使用した場合、スペアポートは3つしかありません(18台のサーバーに18台を使用し、さらに2台から6100への接続とISLリンク、21台を使用)。あなたは可能性ローカルの4400を24x8スイッチに接続し、テープドライブ用に1つのポートを解放しますが、空きポートはありません。2つの16x4Gb「ミドルスイッチ」を2つ目のローカルスイッチとして使用して、ローカル4400およびテープドライブを処理するか、必要に応じてサイト間ISLリンクを処理します-ポートがありますが24x8Gbスイッチでは無料で、必要に応じてそこから直接実行できます。両方とも非常によく似ているため、両方を表示していません。

つまり、それが私の考えです。すべての調整が必要ですが、私の一般的なアイデアはあります。説明を付けて、遠慮なく私に連絡してください。


バジェットゴード氏は、6100の交換に取り掛かると、リモートサイトにいくつかのESXサーバーを配置できるようになることを望んでいます。6100後のアレイがリモートサイトにレプリケーションパートナーを持っていることを認識する力がThingになるのを待ち、8Gbのサイト間ISLのプロジェクトになるまで待ちます。私が仕事に戻ったとき、私はそれらの新しいESXボクセンが6100置換なしでいかにありそうかについて人々を突き刺す必要があります。
sysadmin1138

1
コーヒーを飲んでそれについて考えた後、いくつかコメントがあります。私の目標の1つは、スイッチの障害(または再起動)の処理を改善することです。その場合、線形トポロジーが壊れます。いくつかのISLがそれを修正します。24/8を1つのサイトに保持することは、私が保持している非常に良いアイデアです。おいしい4600。–
sysadmin1138
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.