シスコの「トップオブラック」設計の利点は何ですか。

避けなければならない明らかなケーブル配線の混乱（ネットワークエンジニアは素晴らしいと私は知っていますが、そこに何の意味もない人と推論するときの言い訳として使用するのは難しい）を除けば、銅線を真っ直ぐに大きくして何を得るのですか？芯？

コンテキスト：-価格は問題ではありません

• 同社はすでにデュアルNexusコアを決定していました。

  • オプション1：10G SFP +がほぼ完全に搭載され、DCの各ラックの上部にあるいくつかのFEXへの集約接続、および集約SANとさまざまなサーバー接続を備えたNexus 7004

  • オプション2：約になるNexus 7009コア。1/3は、すべてのデバイスからのすべてのファイバー接続の集約に対応するためのさまざまなモジュールでいっぱいです。

• これは同じ場所に配置されたデータセンターです

• ネットワーク上でホストされる標準のコールセンター/エンタープライズドメイン関連サービス

• この会社はコールセンターであるため、QoSは非常に重要な要点です。

問題：

• 配線の混乱を減らし、モジュール式の設計を増やしたいにもかかわらず、シスコの「トップオブラック」セットアップを採用することを正当化できません。ネットワークに障害点を挿入しているため、これを行うことができません。これを行うと、レイテンシが増加します（わずかであっても）など。それだけでなく、考えてみると、すべてのFEXがNe​​xusに依存して動作するため、ハードウェア障害の可能性が増えるだけではありませんデバイスのブロックを停止しますが、ソフトウェアプロセスが機能しなくなり、FEXが何らかの方法で誤動作する可能性があります。

したがって、このプロジェクトのアイデアの墓地にラックデザインのトップを置く前に、予算の制限がないため、他の誰かがより大きなコアとFEXを使用しない理由を見ることができますか？

FEXは本質的にファブリックを拡張する方法であり、したがって名前であることに注意してください。DC全体に分散された「ラインカード」を維持しながら集中管理する機能は、FEXを使用する本当の理由です。ケーブル配線を大幅に削減することは、技術的であろうとなかろうと誰にとっても価値があり、インフラストラクチャ全体をより少ないポイントで管理できるという議論は、時間の節約であり、純粋で簡単です。

大きな疑問の1つは、単一障害点について心配していることです。すべてのデバイスはデュアルホーム接続が可能で、特定の構成では、Nexus 2K FEX自体で仮想ポートチャネルを確立することもできます。

シスコのドキュメントをご覧ください。検討している「直接ケーブル」オプションと同じくらい冗長で、手間をかけずにトポロジーを設計できることがわかります。

利点としては、最初のケーブルがずさんになり、ずさんになると問題が発生します。データセンターでインフラストラクチャのケーブル接続がさまざまな理由で機能しなくなるのを見てきました。さらにケーブルが必要ですか？次に、誰かがケーブルプラントをいじり、何かが損傷する可能性があります。デバイスに接続された400本近くのケーブルを処理すると、48本よりも偶発的に切断されてしまいます。管理がはるかに簡単です。

第二に、これは将来の証明に役立ちます。10Gbpsの銅線がありますが、状況によっては距離の制限が問題になることがあります。さらに、10G銅線は、長く行くほど追加の電力を消費する傾向があります。

3番目に、FEXはより簡単に置き換えることができます。1Gbps銅線から10Gbps SFP +に切り替えたい場合は、FEXを変更するだけです。コアは同じままで、設定はほぼそのままです。

私はあなたが提供するネガティブを見ていない、そしてそれをすることの利益だけを見ている。

データセンターの設定に応じて、ラックの上部にある2つのファブリックエクステンダーか、1つ（サーバーが隣接するラックと共有できる場合）を使用します。サーバーは2つの別々のエクステンダーに接続する必要があります。各ファブリックエクステンダーは、FETで両方のNexus 7kに接続できます（これも接続する必要があります）。

これにより、失敗の可能性が減ります。FEXは、シャーシの拡張（高MTBFのデータセンター用に設計された読み取り）であり、2次配布またはアクセスデバイスとは対照的に、1U「本体」のモジュールに似ています。コアからソフトウェアを起動するので、ソフトウェアの違いはありません。どこでもサービスを失うことなく、7kまたはエクステンダーを失う可能性があります。潜在的に、サービスを失うことなく7kおよび多数のエクステンダー。

これを単一の論理ユニットとして管理することもできます。これにより、2つの異なるエクステンダーに接続している間でも、サーバーなどが実際にリンク集約を実行できるため、パフォーマンスが向上し、障害の可能性が減少します。

これによってレイテンシがどのように増加するかはわかりませんが、実際には改善される可能性があります。

Nexusのより高度な機能を使い始めると、さらに多くのメリットが見られます。

最終的には、自分のニーズに合わせて選択する必要があります。しかし、私はこれを言います。もしあなたがトップのインターネット会社が彼らのデータセンターをどのように運営しているかを研究するならば、あなたのほとんどはある種のトップオブラック展開を持っていることに気付くでしょう。ダウンタイムが増加するか、パフォーマンスが低下するため、これを選択しません。これにより、ダウンタイムが短縮され、パフォーマンスが向上し、管理性が大幅に向上します。

編集：コメントから統合して削除できるようにします。現在、この回答のコメントトレインは長すぎるため、役に立ちません。

1.）コロコロスペースにいる場合は、7009を左右に並べるのではなく、7010を前後に並べて見たいと思うかもしれません。

2.）ToRと集中型スイッチングの議論における明白なポイントの1つは、通常、スケーラビリティです。コロコロのフットプリントがかなり固定されている場合は、それほど心配する必要はありません。ある程度の成長が見込まれる場合は、合理的な方法でネットワークを拡張できることを検討する必要があります。とはいえ、成長が懸念される場合は、FEXユニットの集中ポイントとして7004を使用することはおそらくためらいます。7Kは現在48エクステンダーまで実行でき、将来的にはさらに高くなる可能性があります。ただし、その間6つのキャビネットにいる場合は、どちらの方法でも問題ありません。

3.）ここで不明な点（少なくとも最初の質問に基づく）は、ラック内のサーバーの密度です。6-8 4Uの場合、FEXは過剰です。1Uまたはブレードパススルーからの数十のGEリンクの場合、ケーブル配線の議論はより深刻なキャストになります。単一のラックへの384本以上のケーブルを使用した特定の（機能しない）セットアップを見ました。二度と見たくないものです。

一連のFEXユニットをホストする小さな7Kと、同じ接続をホームランニングする大きな7Kの主な違いは、小規模ではそれほど大きくありません。上記のとおり、FEXはシャーシ上の別のラインカードとして表示されます。ごく少数の例外を除いて、FEXポートの機能はネイティブポートと同等になり、そのように管理されます。

また、一般的な疑念とは異なり、正しく設計されていれば、FEXを使用した場合のパフォーマンスの低下はそれほど大きくありません。レイテンシに関する引数はマイクロ秒単位で測定されます（これが問題である場合は、設計全体を異なるプラットフォームでより適切に処理できます）。

コアに直接ケーブルを敷設するか、その間にファブリックエクステンダーを使用するか（コストを除いて）に大きな違いはありません。

1. サーバーをコアに直接ケーブル接続する場合は、各サーバーを2つのリンク（各コアスイッチに1つ）で接続します。この方法では、1つのコアスイッチに障害が発生した場合でも、もう1つのコアスイッチがサービスを継続します。
2. 各ラックの上部にファブリックエクステンダーを配置する場合、サーバーは2つのリンクで2つの異なるファブリックエクステンダーに接続され、2つのファブリックエクステンダーは両方とも2つのコアスイッチに接続されます。FEXとコアスイッチ間のリンクはL1リンクであり、ファブリックエクステンダーのセットアップ全体が単一の論理スイッチとして動作します。セットアップでは追加のSTPノードが導入されないため、最初のオプションよりもレイテンシが長くなることはありません。接続が失われる場合は、両方のコアスイッチまたは両方のFEXまたは対応するリンクで障害が発生するはずです。単一のFEXまたはコアスイッチの障害はサービスに影響しません。ファブリックエクステンダーは比較的新しいアイデアですが、実際の作業方法はオプション1よりも優れています。

予算は問題ではないと述べたので、Nexus 7K（およびファイバー接続）のサイズを、40Gまたは100Gへの将来のアップグレードをサポートするのに十分な容量にすることができます。FEXは、現在の要件に合わせてインストールできます。その後、100Gにアップグレードする場合は、Nexus 7ksやケーブルを変更せずにFEXを交換するだけで済みます。

通常、価格は「トップオブラック」設計の大きな推進力の1つであり、コストは問題ではないとあなたは言っています。

まだリストに載っていない2つの理由のために使用しました。それは、モジュール性と展開の容易さです。

標準の「ラック」設計がある場合は、ラック全体（またはラックのグループ）を1つのモジュールとして一緒に構築およびテストするか、既成の状態で購入できます。次に、すべてのマシンを再接続する代わりに、上部にいくつかのケーブルを接続する必要があります。

トップオブラックのもう1つのケースは、インフラストラクチャの「セル」をデプロイする標準のビルド構成がある場合に（アプリケーションによっては、いくつかのラックのトップ）非常に理にかなっています。「セル」内の通信が高い場合があります（例：Webサーバー、アプリサーバー、DBサーバー、画像サーバーなど）。誰もがこの種の構成を持っているわけではありませんが、セルのパフォーマンスを特徴付けることができるので便利です。スケールアウトとは、すべてのインフラストラクチャを拡張する代わりにセルを追加することを意味します（これにより、パフォーマンスがさらに低下する可能性があります）。

最終的に、予算の制限なしでは、ファブリックエクステンダ全体よりも1本のファイバラインの障害の影響を受けるデバイスが少ないので、単に7009設計を採用しないのは意味がありません。

繰り返しになりますが、ファブリックエクステンダーは、コアデバイスが提供する以上の追加のポート密度を必要としない環境内で、ハードウェアとソフトウェアの両方で追加の障害点となります。