PCIeデバイスのNUMAノードを決定する

9

最近のLinux OSを想定して、デバイスが接続されているPCIeスロットがどのNUMAノードに属しているかを簡単に判断する方法はありますか？

linux  pci-express  numa 

回答:

10

問題のPCIeスロットのディレクトリに移動する必要がありますeth0。例：

 cd /sys/class/net/eth0/device

どこで見つけるでしょうnuma_node、local_cpusとlocal_cpulistあなたに、関心の3つのファイルを。あなたはcatそれらだけで、必要なデータを見ることができます。

— マリウス
ソース
えっ、私が得たnuma_node = -1とlocal_cpulist = 0-15。これは正しくありません。hwlocで確認されたように、2つのnumaノードがあります。
— Navin、
3

デバイスIDがわかっている場合は、hwloc（http://www.open-mpi.de/projects/hwloc/）を使用することもできます。ただし、同じデバイスが2つある場合（GPUなど）、物理スロットが関連付けられているNUMAノードを確認する唯一の方法は、マザーボードのマニュアルを参照することです。

Asus Z9PE-D8（http://dlcdnet.asus.com/pub/ASUS/mb/LGA2011/Z9PE-D8-WS/Manual/e8726_z9pe-d8_ws.pdf）の場合は、223ページにあります。

— ギジェルモMA
ソース
trueの場合、それはおそらくアーキテクチャに依存しています。たとえば、過去数世代のIntel Xeonプロセッサでは、PCIeルートブリッジはCPUチップ自体にあります。したがって、デバイスのPCIeバスが常駐するCPUソケットを知ることは、動作のコア要件です。これは、この場合の上記の「/ sys / class ...」の回答から明らかです。これらの同じシステムでは、異なるソケット上の2つの同じCPUが異なるNUMAデバイスを表示します。または、ほとんどのシステムでは、異なるバス上のデバイスは、PCIeアドレスが大きく異なります。たとえば、ソケット1で1a：00.0、ソケット2で89：00.0
— Paul
2

受け入れられた回答は、私が見つけた限り、ネットワークカードでのみ機能します。GuillermoMAの回答によれば、hwlocは判読できなくても本当の取引を提供します。lstopohwlocパッケージにあります（少なくともRHEL 7では）：

# lstopo
Machine (256GB)
  NUMANode L#0 (P#0 128GB)
    Socket L#0 + L3 L#0 (20MB)
      L2 L#0 (256KB) + L1d L#0 (32KB) + L1i L#0 (32KB) + Core L#0 + PU L#0 (P#0)
      L2 L#1 (256KB) + L1d L#1 (32KB) + L1i L#1 (32KB) + Core L#1 + PU L#1 (P#2)
      L2 L#2 (256KB) + L1d L#2 (32KB) + L1i L#2 (32KB) + Core L#2 + PU L#2 (P#4)
      L2 L#3 (256KB) + L1d L#3 (32KB) + L1i L#3 (32KB) + Core L#3 + PU L#3 (P#6)
      L2 L#4 (256KB) + L1d L#4 (32KB) + L1i L#4 (32KB) + Core L#4 + PU L#4 (P#8)
      L2 L#5 (256KB) + L1d L#5 (32KB) + L1i L#5 (32KB) + Core L#5 + PU L#5 (P#10)
      L2 L#6 (256KB) + L1d L#6 (32KB) + L1i L#6 (32KB) + Core L#6 + PU L#6 (P#12)
      L2 L#7 (256KB) + L1d L#7 (32KB) + L1i L#7 (32KB) + Core L#7 + PU L#7 (P#14)
    HostBridge L#0
      PCIBridge
        PCI 1000:005d
          Block L#0 "sda"
      PCIBridge
        PCI 14e4:16a1
          Net L#1 "eth0"
        PCI 14e4:16a1
          Net L#2 "eth1"
        PCI 14e4:16a1
          Net L#3 "eth2"
        PCI 14e4:16a1
          Net L#4 "eth3"
      PCI 8086:8d62
      PCIBridge
        PCIBridge
          PCIBridge
            PCIBridge
              PCI 102b:0534
      PCI 8086:8d02
        Block L#5 "sr0"
  NUMANode L#1 (P#1 128GB)
    Socket L#1 + L3 L#1 (20MB)
      L2 L#8 (256KB) + L1d L#8 (32KB) + L1i L#8 (32KB) + Core L#8 + PU L#8 (P#1)
      L2 L#9 (256KB) + L1d L#9 (32KB) + L1i L#9 (32KB) + Core L#9 + PU L#9 (P#3)
      L2 L#10 (256KB) + L1d L#10 (32KB) + L1i L#10 (32KB) + Core L#10 + PU L#10 (P#5)
      L2 L#11 (256KB) + L1d L#11 (32KB) + L1i L#11 (32KB) + Core L#11 + PU L#11 (P#7)
      L2 L#12 (256KB) + L1d L#12 (32KB) + L1i L#12 (32KB) + Core L#12 + PU L#12 (P#9)
      L2 L#13 (256KB) + L1d L#13 (32KB) + L1i L#13 (32KB) + Core L#13 + PU L#13 (P#11)
      L2 L#14 (256KB) + L1d L#14 (32KB) + L1i L#14 (32KB) + Core L#14 + PU L#14 (P#13)
      L2 L#15 (256KB) + L1d L#15 (32KB) + L1i L#15 (32KB) + Core L#15 + PU L#15 (P#15)
    HostBridge L#7
      PCIBridge
        PCI 15b3:1003
          Net L#6 "eth4"
          Net L#7 "eth5"

もちろん、NUMANode L＃0はCPU0で、NUMANode L＃1はCPU1です。次に、上記からお気に入りのPCI番号（14e4：16a1など）を取得して、それが何であるかを調べ、そのPCIアドレスをさらに分析してlspci次のように分析します。

# lspci -nn | grep 14e4:16a1
01:00.0 Ethernet controller [0200]: Broadcom Corporation BCM57840 NetXtreme II 10 Gigabit Ethernet [14e4:16a1] (rev 11)
01:00.1 Ethernet controller [0200]: Broadcom Corporation BCM57840 NetXtreme II 10 Gigabit Ethernet [14e4:16a1] (rev 11)
01:00.2 Ethernet controller [0200]: Broadcom Corporation BCM57840 NetXtreme II 10 Gigabit Ethernet [14e4:16a1] (rev 11)
01:00.3 Ethernet controller [0200]: Broadcom Corporation BCM57840 NetXtreme II 10 Gigabit Ethernet [14e4:16a1] (rev 11)

私のマシンの1つで、Emulexファイバーチャネルカードがlstopo出力に表示されませんでした。私はそれを使用lstopo --whole-ioして、逆ルックアッププロセスを実行することで見つけました（必要に応じて右にスクロールし、grepする10dfの16進数を確認します）。

# lspci -nn | grep -i emulex
03:00.0 Fibre Channel [0c04]: Emulex Corporation Saturn-X: LightPulse Fibre Channel Host Adapter [10df:f100] (rev 03)
03:00.1 Fibre Channel [0c04]: Emulex Corporation Saturn-X: LightPulse Fibre Channel Host Adapter [10df:f100] (rev 03)
# lstopo --whole-io | grep 10df   
        PCI 10df:f100
        PCI 10df:f100

上記のパイプ接続されたgrepコマンドを削除し、出力を半手動でくまなく調べて、フルlstopo --whole-ioディスプレイでデバイスを見つけます（読者への課題として残してください）。

— マイクS
ソース
lspci -nn | grep PCINUMBER私の日を作りました。私は2つのSamsung 970 Proを持っていますが、そのコマンドはltopo出力からそれらを識別するのに役立ちました。ありがとうございました。
— ピエトロップ2018
0

以下を使用できます： # cat /sys/bus/pci/devices/<PCI device>/numa_node

使用してPCIデバイスアドレスを取得する # lspci -nn

— 裾
ソース
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.