IBM小型机ROCE万兆网卡配置文档

一、万兆网卡

PCIe2 10 GbE RoCE Adapter 适配器预先配置为以 AIX® RoCE 方式运行。对于网络密集型应用程序，使用 RDMA 的网络所提供的性能比用作 NIC 的适配器更好。对于网络存储或高性能计算，此方式通常很有用。

AIX RoCE 配置要求使用库或接口，如下所示：

• 直接访问编程库 (uDAPL) ，由 DB2® 数据库系统使用
• 消息传递接口 (MPI) ，由高性能计算 (HPC) 使用
  当适配器正在以 AIX RoCE 方式运行时，下图会显示输出。

在实际 S824 机器中，配置了 EC28 的万兆网卡，其输出为：

ent0 Available 08-00 4-Port Gigabit Ethernet PCI-Express Adapter (e414571614102004)

ent1 Available 08-01 4-Port Gigabit Ethernet PCI-Express Adapter (e414571614102004)

ent2 Available 08-02 4-Port Gigabit Ethernet PCI-Express Adapter (e414571614102004)

ent3 Available 08-03 4-Port Gigabit Ethernet PCI-Express Adapter (e414571614102004)

fcs0 Available 01-00 8Gb PCI Express Dual Port FC Adapter (df1000f114108a03)

fcs1 Available 01-01 8Gb PCI Express Dual Port FC Adapter (df1000f114108a03)

fcs2 Available 02-00 8Gb PCI Express Dual Port FC Adapter (df1000f114108a03)

fcs3 Available 02-01 8Gb PCI Express Dual Port FC Adapter (df1000f114108a03)

hba0 Available 00-00 PCIe2 10GbE RoCE Converged Host Bus Adapter (b315506714101604)

hba1 Available 04-00 PCIe2 10GbE RoCE Converged Host Bus Adapter (b315506714101604)

pkcs11 Available ACF/PKCS#11 Device

roce0 Available 00-00-00 PCIe2 10GbE RoCE Converged Network Adapter

roce1 Available 04-00-00 PCIe2 10GbE RoCE Converged Network Adapter

sissas0 Available 03-00 PCIe3 x8 SAS RAID Internal Adapter 6Gb

usbhc0 Available 05-00 Integrated USB 3.0 xHCI Adapter (4c1041821410b204)

vsa0 Available LPAR Virtual Serial Adapter

以上可以看到，只能识别到电口千兆的网卡，万兆网卡的识别为 hba0-1 和 roce0-1, 没有常规的 entX 的模式。

PCIe2 10 GbE RoCE 适配器处于 AIX RoCE 方式时，它仅显示一个适配器实例，但它最多可有两个端口。通过完成以下步骤，使用 ibstat 命令来确定所配置的端口数：

1. 输入以下命令来确定是否配置了 icm 内核扩展：

   lsdev -C | grep icm

2. 如果未配置 icm 内核，请输入以下命令配置该内核：

   mkdev -c management -s infiniband -t icm

3. 输入以下命令来运行 ibstat 命令：

   ibstat roce0

二、从 AIX NIC + OFED RoCE 配置切换回 AIX RoCE

回 AIX RoCE

当 PCIe2 10 GbE RoCE 适配器最初配置为使用 AIX NIC+FRED RoCE 方式时，您可能需要从 AIX NIC + OFED RoCE 配置切换回来。要从 AIX NIC + OFED RoCE 配置切换回 AIX RoCE 配置，请完成以下步骤：

1. 通过输入以下命令，验证适配器是否处于 AIX NIC + OFED RoCE 方式：

   lsdev -C -c adapter

lsdev 命令的输出类似于 图 1 中的示例。

1. 通过输入以下命令，停止 TCP/IP 流量并拆离 IP 接口：

   ifconfig en1 down detach; ifconfig en2 down detach

2. 通过输入下列其中一个命令来删除 NIC 实例或者使 NIC 实例处于所定义的状态：

   • rmdev -d -l ent1; rmdev -d -l ent2

   • rmdev -l ent1; rmdev -l ent2

   rmdev -l ent1; rmdev -l ent2 命令保留以太网设备的定义，以便下次创建实例时可使用该定义。

3. 通过输入以下命令，将 hba stack_type 的属性从 ofed (AIX NIC + OFED RoCE) 更改为 aix_ib (AIX RoCE) ：

   chdev -l hba0 -a stack_type=aix_ib

4. 通过输入以下命令，运行配置管理器工具以便主机总线适配器可将 PCIe2 10 GbE RoCE 适配器配置为 AIX RoCE 适配器：

   cfgmgr

5. 通过输入以下命令，验证适配器现在是否正以 AIX RoCE 配置方式运行：

   lsdev -C -c adapter

以下示例显示您对以 AIX RoCE 方式配置的适配器运行 lsdev 命令时的结果。

三、 从 AIX RoCE 配置切换回 AIX NIC + OFED RoCE

当 PCIe2 10 GbE RoCE 适配器最初配置为使用 AIX RoCE 方式时，您可能需要切换到 AIX NIC + OFED RoCE 模式。要从 AIX RoCE 配置切换回 AIX nic+ofed RoCE 配置，请完成以下步骤：

1. 通过输入以下命令，验证适配器是否处于 AIX NIC + OFED RoCE 方式：

   lsdev -C -c adapter

lsdev 命令的输出类似下图的示例。

1. 通过输入以下命令，删除 roce0 口：

   rmdev –Rdl roce0

2. 通过输入以下命令，将 hba stack_type 的属性从 aix_ib (AIX NIC + OFED RoCE) 更改为 ofed (AIX RoCE) ：

   chdev -l hba0 -a stack_type=ofed

3. 通过输入以下命令，运行配置管理器工具以便主机总线适配器可将 PCIe2 10 GbE RoCE 适配器配置为 AIX RoCE 适配器：

   cfgmgr

4. 通过输入以下命令，验证适配器现在是否正以 AIX RoCE 配置方式运行：

   lsdev -C -c adapter

就能看到正常的 entX 的网络配置了。

# lsdev -Cc adapter

ent0 Available 08-00 4-Port Gigabit Ethernet PCI-Express Adapter (e414571614102004)

ent1 Available 08-01 4-Port Gigabit Ethernet PCI-Express Adapter (e414571614102004)

ent2 Available 08-02 4-Port Gigabit Ethernet PCI-Express Adapter (e414571614102004)

ent3 Available 08-03 4-Port Gigabit Ethernet PCI-Express Adapter (e414571614102004)

ent4 Available 00-00-01 RoCE Converged Network Adapter

ent5 Available 00-00-02 RoCE Converged Network Adapter

ent6 Available 04-00-01 RoCE Converged Network Adapter

ent7 Available 04-00-02 RoCE Converged Network Adapter

fcs0 Available 01-00 8Gb PCI Express Dual Port FC Adapter (df1000f114108a03)

fcs1 Available 01-01 8Gb PCI Express Dual Port FC Adapter (df1000f114108a03)

fcs2 Available 02-00 8Gb PCI Express Dual Port FC Adapter (df1000f114108a03)

fcs3 Available 02-01 8Gb PCI Express Dual Port FC Adapter (df1000f114108a03)

hba0 Available 00-00 PCIe2 10GbE RoCE Converged Host Bus Adapter (b315506714101604)

hba1 Available 04-00 PCIe2 10GbE RoCE Converged Host Bus Adapter (b315506714101604)

pkcs11 Available ACF/PKCS#11 Device

sissas0 Available 03-00 PCIe3 x8 SAS RAID Internal Adapter 6Gb

usbhc0 Available 05-00 Integrated USB 3.0 xHCI Adapter (4c1041821410b204)

vsa0 Available LPAR Virtual Serial Adapter