IPMIサイドバンドは、ホストとイーサネットポートをどのように共有しますか?


23

IPMI / BMC機能を備えた多くのSupermicroマシンがあります。これらのマシンには、オンボードBMCを使用するものと、アドオンカードを使用するものがあります

コストの削減とケーブル配線の要件により、サイドバンドの使用を検討しています。ただし、一部の側波帯の詳細はあまり意味がありません。

サイドバンドには、マザーボードのイーサネットポートに差し込まれるイーサネットケーブルが1本必要です。このネットワークポートは、IPMIシステムとオペレーティングシステムの間で共有されます。このSupermicroマニュアルで読んだことから、「SIMSO IPMIカードのLAN1に使用しているのと同じMACアドレスを使用してください」。ただし、IPMIにはオペレーティングシステムとは異なるIPアドレスが必要です。

この同じ物理ネットワークポートでリッスンおよび送信できる2つのデバイス(オペレーティングシステムとIPMI)を使用する方法を教えてください。パケットがインターフェイスに到着すると、システムはこのパケットがオペレーティングシステム向けかIPMIシステム向けかをどのように判断しますか?

CPU割り込みを使用して、これらのパケットはCPUによって処理されますか?IPMIインターフェイスへのパケットをオペレーティングシステムで表示できますか?

回答:


39

オンボードIPMIを使用して多くのSuperMicroサーバーを管理しています。私は共有(別名サイドバンド)イーサネットと愛/憎悪の関係を持っています。一般に、これらの機能の仕組みは、LAN1が2つの(異なる)MACアドレスを持っているように見えることです。1つはIPMIインターフェイス用で、もう1つは標準Broadcom NIC用です。IPMIインターフェイス(MACアドレスに基づくレイヤー2)へのトラフィックは、オペレーティングシステムレベル以下で魔法のようにインターセプトされ、実行中のOSからは見えません。

あなたはすでに彼らにとって一つの良い点にぶつかりました:より少ないケーブル。次に、いくつかの欠点を説明します。

  • 安全な方法でIPMIインターフェイスを個別のサブネットに分割することは特に困難です。トラフィックはすべて同じケーブルを経由するため、(ほとんど)常に同じIPサブネット上にIPMIインターフェイスとLAN1インターフェイスが必要です。最新のマザーボードでは、IPMIカードがVLANのIPMI NICへの割り当てをサポートするようになったため、ある程度の分離を得ることができますが、基盤となるOSは常にそのVLANのトラフィックをスニッフィングできます。古いBMCコントローラーはVLANの変更をまったく許可しませんが、ipmitoolやipmicfgなどのツールは表面上は変更できるようになりますが、機能しません。
  • 障害ポイントをシステムに集中させています。スイッチで設定を行い、どうにかして自分自身を切断することをどうにかしますか?おめでとうございます。これで、サーバーへのプライマリネットワーク接続とIPMI経由のバックアップが切断されました。NICハードウェアに障害がありますか?おめでとう、同じ問題。
  • 初期のSuperMicro IPMI BMCは、ネットワークインターフェイスで奇妙なことをすることで悪名が高かった。オンボードと専用のIPMIポートを使用するかどうかは、多くの場合、電源投入時に(再起動ではなく)決定され、そこから切り替えられません。停電があり、スイッチが十分な速度で電力を供給しなかった場合、間違った設定を自動検出したためにIPMIが機能しなくなる可能性があります。
  • 個人的には、サイドバンドIPMIを確実に機能させるために、不可解で説明できない接続の問題がたくさんありました。時々、インターフェイスIPに数分間pingできなかったことがあります。割り当てられたVLANでパケットのストームが発生することがありますが、トラフィックはすべてドロップされたように見えます。

これはsideband-vs.-dedicatedとは関係ありませんが、ホストシステムにアクセスするためのツールの記述が非常に不十分であることにも注意してください。古いIPMIカードはローカル認証以外をサポートしていないため、パスワードのローテーションが非常に面倒です。KVM-over-IP機能を使用している場合、不適切に署名された、期限切れのJavaアプレット、またはWindowsでのみ動作し、UACの昇格が必要な奇妙なJavaデスクトップアプリケーションを使用して立ち往生しています。キーボードエントリがせいぜいむらであることがわかりました。10回試行しないとログインするためのパスワードを入力できないような「スタックキー」が発生することがあります。

最終的に、この配置で40以上のシステムを動作させることができました。IPMIインターフェースを別のサブネットにVLAN接続できる新しいシステムがほとんどありますが、ipmitoolを介してシリアルコンソールをほとんど使用しますが、これは非常にうまく機能します。次世代のサーバーについては、KVMをサポートするIntelのAMTテクノロジーを検討しています。これによりサーバー空間に配置されるため、IPMIをこれに置き換えることがわかります。


非常に詳細な説明をありがとう。トラフィックが「オペレーティングシステムレベル以下で魔法のようにインターセプトされ、実行中のOSによってまったく見られない」方法に関する詳細情報はありますか?その仕組みを理解しようとしています。
ステファンLasiewski

簡単なハードウェアブリッジがこのトリックを行います。
アントワーヌ・ベンケモン

偉大な答えは、はいトラフィックがブリッジされる
ジム・B

2
ステファン-アントワーヌとジムはコメントでそれを説明しました-それはおそらくハードウェアブリッジです。シリコンに実装された小さなスイッチのように考えて、物理NICインターフェースを2つの仮想NICに接続します。1つはIPMI用、もう1つはメインコンピューター用です。
ナタカド

その説明をありがとう。それはまさに私がそれがうまくいくと思った方法ですが、他の人(ネットワーク管理者、システム管理者)とこれを議論するとき、私は多くの不一致を取得します。
ステファンLasiewski

4

これらの特定のカードを使用したことはありません。使用したカードはIPMIトラフィック用に異なるMACを持っているか、ポートがIPMIトラフィック専用です。ただし、IPMIはMACを含むNICを共有する可能性があります。

IPMIはOSとは異なるIPを持つため、パケットはそれに基づいて正しく送信されます。IPMIトラフィックはCPUにヒットすることはなく、すべてサイドバンド管理ICで処理されます。


そうですか。一部のシステムの一部のIPMIカードは「MACアドレスを共有」します(SupermicroとDellがこれを行うように見えます)。
ステファンLasiewski

3
Dellサーバーでは、同じ物理ネットワークポートであるにもかかわらず、IPMIインターフェイスのMACが異なります。
sciurus

2

サイドバンドを使用すると、サーバーからBMCと通信できないことを意味する一般的なアドバイスに追加したいと考えました。トラフィックは除外されているようです。IBM / Dell / HPキットでこれを試しました。


これについても詳しく説明します。ESXIとVMはBMCにアクセスできません(ただし、外部ホストはアクセスできます)、なぜですか?NSCI(共有IPMI)ポートでアウトバウンドするトラフィックは、スイッチにヒットして、同じポートにリバウンドする必要があるためです。AFAIKの典型的なL2スイッチはサポートしていません。
ケビンフ

1

最初の応答でnatacadosの最後の箇条書きをバックアップします。IPMIセッションはランダムにタイムアウトします(スーパーマイクロのIPMIViewを使用して、ボックスのコンソールを確認します)。ファームウェアのアップグレードやパワーサイクルなどは、不可解にランダムに失敗するようです。

すばらしい答えのナタカド、信じられないほど徹底的。


1
IPMIファームウェアが最新であることを確認してください!IPMIファームウェアバージョンとIPMIViewソフトウェアバージョンの間に十分な大きさの切断がある場合、KVMセッションを開始しようとしたときに、一般的で不可解な「接続エラー」が発生します。最新のIPMIファームウェアへの更新(これは、IPMIViewユーティリティのメインメニューの[ファイル]から実行できます)で修正されました。:p
ジェフアトウッド
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.