さまざまなPOPでのiBGPピアとの間の送受信トラフィックエンジニアリングの問題
私たちは、シドニーの単一のデータセンターで小規模ネットワークを実行しているマネージドサービスプロバイダーです。私たちは最近、メルボルン（どちらもオーストラリアの東海岸にあります）に新しいPOPインターステートを展開しました。初めて、交通工学の面で現実の課題に直面する必要があります。私の希望は、iBGPパスをある程度のレベルで制御する方法について、ここでガイダンスが得られることです。 相互に関連するいくつかの質問を投稿する可能性がありますが、この場合は特に内部のトラフィックエンジニアリングについて懸念しています。iBGPで最適なルーティングを決定する方法を理解するのは驚くほど難しいことに気づきました。 私の主な目標は、iBGPにPOPごとの境界と距離の概念を与える方法を見つける必要があることです。つまり、同じ都市にあるPOPと、州間であるPOPと、東海岸と西海岸であるPOPを区別できます。次に、これに基づいてインバウンド/アウトバウンドルーティングを最適化します。 ケースバイケースのシナリオがたくさんあることは知っていますが、おそらく80％の時間で機能するiBGPルーティング戦略を開発でき、残りは特別なエッジケースに対処する必要があります。構成。 環境 各POPでエッジデバイスとして機能する4x ASR 1001-Xを購入しました（POPごとに2xですが、ハードウェアの制限により、現在のところ、メルボルンに1つのエッジデバイスを配置することにのみ焦点を当てています） また、ハードウェアの切り替えにもジュニパーを利用しています。「コアスイッチ」としてのEX4500およびアクセスレイヤーのEX4200。 現在、2xの交通機関があります。私たちは、各1つの状態の各プロバイダーにのみ相互接続します。 AS 1000はアグリゲーターであり、シドニーの主要なアップストリームの1つとしてAS 4000を使用します。 AS 1000を介して受信されるすべてのパスは、通常、AS 4000から取得されるパスよりも1だけ長いため、これには少しの課題があります。 Ansibleを使用して、Jinja2テンプレートを使用してIOS構成を生成しています。そのため、物事を成し遂げるためにiBGPピアごとに大量のルートマップロジックを生成することは問題ではありません。 私の目標 基本的に、POPを展開するときに、POP間のルーティングを最適化できるようにしたいと考えています。しかし、現在のところ、iBGPがパスを選択する方法を制御することはできません。 私の現在のデザイン 私は現在、2台のASR1Kをエッジルータとして機能させ、シドニーとメルボルンにフルテーブルを配置しています。 どちらのPOPも異なる交通機関を使用しています。 dot1qサブインターフェイスのエッジデバイスによって両側で終端される2つのPOP間のポイントツーポイント回路があります。 すべてのエッジデバイス間のこのリンク上でOSPFを実行すると、リンクのコストが増加するため、これが最も優先度の低いOSPFパスになります。 両方のPOPにわたって単一のOSPFエリア0があります。 エッジデバイスは、統合されたコア/エッジに近いものです。私たちのコアスイッチは、テーブル全体を処理できないため、L3をあまり実行しません。 各POPでは、ASR1KはそのPOP内の他のBGPデバイス（ファイアウォール、コアスイッチ、LNSなど）のルートリフレクターとして機能します。 POPごとではなく、それぞれに独自のクラスターIDがあります。これをPOPごとに変更することを検討しています。 各ASR1Kは、BGPを介してルートリフレクタクライアントへのデフォルトルートを発信します。 すべてのASR1KはiBGPメッシュ内にあります。 すべての交通機関は、すべてのサイトで同じローカル設定を持っています。 次善のルーティングの例 メルボルンとシドニーをすべてオンラインで通過する場合、アウトバウンドルーティングは正常に機能します。シドニーの交通はシドニー経由で、メルボルンはメルボルン経由で出ます。 問題は、シドニーの主要なトランジットを管理者が無効にするだけで、メルボルンのトランジットが自動的に優先されるようになったことです。私のセカンダリシドニーの代わりに、シドニーのBDR02ルーターを経由します。 そのため、トラフィックがバックホールを介してメルボルンに跳ね返り、メルボルンを出てシドニーに戻るというシナリオがよく起こります。1ミリ秒未満で発生していたパスは、約30ミリ秒になりました。 さらに悪いことに、この特定のシナリオでは、メルボルンが好まれている理由を理解できません。 重量は同じです ローカル設定は同一です ASパスは同じ長さです どちらのパスも自己由来ではありません。 どちらもIGPを起源としています。 両方のメトリック（MED？）は0です。 どちらも、このルーターから見たiBGPパスです。 IGPとしてOSPFを使用しているため、IGPメトリックはOSPFリンクコストと相関していると考えていました。 100G参照帯域幅がすべてのOSPFデバイスに設定されていることを確認しました。 編集：30/01：IGPコストの計算方法が間違っていると思いますが、おそらく現在は同じですか？私のOSPFルートはすべてタイプE2です。IGPコストが同じである場合、RIDに基づいて最良のパス選択が行われることが理にかなっていると思います。この場合、MEL BDRのRIDはSYDよりも低くなります。 シドニー間のOSPFリンクコストをデフォルトよりもはるかに高い15,000に設定しました。100 Gbpsの参照帯域幅で確実に機能するようにこれを計算しました。 OSPFリンクコストの観点から-これは、BGPルートの各ネクストホップのOSPFs設定です。 …