私はこれに数日間費やしており、SR-IOVを最新のファームウェアを使用してMellanox Infinibandカードで動作させることができました。
仮想関数はDom0に次のように表示されます
06：00.1ネットワークコントローラ：Mellanox Technologies MT27500ファミリ[ConnectX-3仮想機能] 06：00.2ネットワークコントローラ：Mellanox Technologies MT27500ファミリ[ConnectX-3仮想機能] 06：00.3ネットワークコントローラ：Mellanox Technologies MT27500ファミリ[ConnectX-3仮想機能] 06：00.4ネットワークコントローラ：Mellanox Technologies MT27500ファミリ[ConnectX-3仮想機能]
次に、Dom0から06：00.1を切り離して、xen-pcibackに割り当てました。
これをXenのテストドメインに渡しました。
テストDomU内のlspciは以下を示します。
00：01.1ネットワークコントローラ：Mellanox Technologies MT27500ファミリ[ConnectX-3仮想機能]
DomUに次のモジュールが読み込まれています
mlx4_ib
rdma_ucm
ib_umad
ib_uverbs
ib_ipoib
mlx4ドライバーのdmesg出力は次のとおりです。
[ 11.956787] mlx4_core: Mellanox ConnectX core driver v1.1 (Dec, 2011)
[ 11.956789] mlx4_core: Initializing 0000:00:01.1
[ 11.956859] mlx4_core 0000:00:01.1: enabling device (0000 -> 0002)
[ 11.957242] mlx4_core 0000:00:01.1: Xen PCI mapped GSI0 to IRQ30
[ 11.957581] mlx4_core 0000:00:01.1: Detected virtual function - running in slave mode
[ 11.957606] mlx4_core 0000:00:01.1: Sending reset
[ 11.957699] mlx4_core 0000:00:01.1: Sending vhcr0
[ 11.976090] mlx4_core 0000:00:01.1: HCA minimum page size:512
[ 11.976672] mlx4_core 0000:00:01.1: Timestamping is not supported in slave mode.
[ 12.068079] <mlx4_ib> mlx4_ib_add: mlx4_ib: Mellanox ConnectX InfiniBand driver v1.0 (April 4, 2008)
[ 12.184072] mlx4_core 0000:00:01.1: mlx4_ib: multi-function enabled
[ 12.184075] mlx4_core 0000:00:01.1: mlx4_ib: operating in qp1 tunnel mode
ib0デバイスも表示されます。
ib0 Link encap:UNSPEC HWaddr 80-00-05-49-FE-80-00-00-00-00-00-00-00-00-00-00
inet addr:10.10.10.10 Bcast:10.10.10.255 Mask:255.255.255.0
UP BROADCAST MULTICAST MTU:2044 Metric:1
RX packets:117303 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:256
RX bytes:6576132 (6.5 MB) TX bytes:0 (0.0 B)
ローカルで10.10.10.10にpingすることもできます。
ただし、これらのpingはinfinibandファブリックでは送信されません。
リンクがダウンしているためと思われます。ibstatは以下を示します。
CA 'mlx4_0'
CA type: MT4100
Number of ports: 1
Firmware version: 2.30.3000
Hardware version: 0
Node GUID: 0x001405005ef41f25
System image GUID: 0x002590ffff175727
Port 1:
State: Down
Physical state: LinkUp
Rate: 10
Base lid: 9
LMC: 0
SM lid: 1
Capability mask: 0x02514868
Port GUID: 0x0000000000000000
どうすればアップできますか？domUリンクはアップしていますが、VFリンクはアップしていませんか？
そして答えは実際にここにあります：このリンクによると：http : //www.spinics.net/lists/linux-rdma/msg13307.html
スレーブVFのポートがアクティブになるためには何が必要ですか？opensm 3.3.13を別のボックスで実行していますが、それで十分ですか？（SR-IOVにはSMサポートが必要ですか？）
はい、Halが述べたように、少なくともopensm 3.3.14（http://marc.info/?l=linux-rdma&m=133819320432335&w=2）が必要です。 SRIOV、3.3.15もリリースされたため、これをサポートする2番目のバージョンが必要です...基本的に、PPFのIBリンクと、SMで登録されたエイリアスGUIDを取得するためのスレーブが必要です。私たち（ILチーム）は休日の火曜日/水曜日を離れていましたが、今夜は詳細を伝えようとします。そうでない場合は、明日までに確認します。
OpenSMをアップグレードしました。まもなくレポートします。
編集：OK、それは今働いています。しかし、opensmのログブローアウトが発生しています。OpenSMプロセスは、毎秒数百のエントリを次の形式で書き込んでいます。
Sep 30 20:36:26 707784 [7DC1700] 0x01 -> validate_requested_mgid: ERR 1B01: Wrong MGID Prefix 0x8000 must be 0xFF
Sep 30 20:36:26 707810 [7DC1700] 0x01 -> mcmr_rcv_create_new_mgrp: ERR 1B22: Invalid requested MGID
Sep 30 20:36:26 708096 [8DC3700] 0x01 -> validate_requested_mgid: ERR 1B01: Wrong MGID Prefix 0x8000 must be 0xFF
Sep 30 20:36:26 708119 [8DC3700] 0x01 -> mcmr_rcv_create_new_mgrp: ERR 1B22: Invalid requested MGID
Sep 30 20:36:26 708391 [FF5B0700] 0x01 -> validate_requested_mgid: ERR 1B01: Wrong MGID Prefix 0x8000 must be 0xFF
Sep 30 20:36:26 708421 [FF5B0700] 0x01 -> mcmr_rcv_create_new_mgrp: ERR 1B22: Invalid requested MGID
Sep 30 20:36:26 708696 [3DB9700] 0x01 -> validate_requested_mgid: ERR 1B01: Wrong MGID Prefix 0x8000 must be 0xFF
Sep 30 20:36:26 708719 [3DB9700] 0x01 -> mcmr_rcv_create_new_mgrp: ERR 1B22: Invalid requested MGID
また、再起動してDom0にメモリを追加すると、上記のエラーメッセージは消えました。自動バルーニングをオフにして、現在2GBを割り当てています。残念ながら、彼らは明確な理由もなく戻ってきました。これに関連する新しい質問をしました
dom0で動作する理由がよくわかりませんが、私の場合、VFを備えたDom0でOpenSMを実行する必要があります。これは、Dom0で実行されているOpenSMインスタンスがVFを認識しており、別のノードのサブネットマネージャーが認識していないときにそれらをアドバタイズできるためだと思います。それは私の推測です。他のxenノードもVFを取得できることを願っています。それは別の問題になるかもしれません。現時点では、単一のXenノードで動作しています。