rocky linux 8安装IB卡驱动

RockyLinux/Centos/RedHat 8安装MT27800 Family [ConnectX-5] IB卡驱动，切换InfiniBand模式，配置IP

IB卡默认是Ethernet模式，在驱动安装好切换到InfiniBand模式之前，网口的灯不会亮是正常状态。

准备工作

安装驱动需要以下包，可以使用包管理器在线安装，或者挂载本地镜像源安装。

kernel-modules-extra
gcc
gcc-gfortran
tcl
tk

手动下载rpm包安装gfortran，如果碰到libquadmath-8.5.0-18.el8.x86_64.rpm和libquadmath-8.5.0-22.el8.x86_64.rpm冲突的,可以添加--nodeps和--forece参数不检查依赖强制安装，不影响安装驱动。

rpm -ivh libgfortran-8.5.0-18.el8.x86_64.rpm --nodeps --force

---

驱动下载地址

MLNX_OFED_LINUX-24.10-1.1.4.0-rhel8.8-x86_64.tgz,RedHat和衍生发行版用这个。
MLNX_OFED_SRC-24.10-1.1.4.0.tgz，源码编译下载这个。

安装驱动

解压和安装

lspci|grep Eth查看IB卡有没有正常识别到
ofed_info -s确认主机是否安装OFED驱动，没有输出就是没安装。

tar -zxvf MLNX_OFED_LINUX-24.10-1.1.4.0-rhel8.8-x86_64.tgz #解压

cd MLNX_OFED_LINUX-24.10-1.1.4.0 #进入目录

./mlnxofedinstall #开始自动安装。如果报错缺少依赖，安装缺少的依赖

/etc/init.d/openibd restart #安装完成后会提示重载服务

检查网卡状态

ibstat查看网卡信息
显示Physical state为DOWN，Link Layer为Ethernet。

切换模式

systemctl start mst 启动mst工具

systemctl status mst 查看mst状态

mst status 查看IB网卡的位置

/dev/mst/mtxxxx_pciconf0 就是IB网卡

#双口网卡
mlxconfig -d /dev/mst/mtxxxx_pciconf0 set LINK_TYPE_P1=1 LINK_TYPE_P2=1 

#单口网卡
mlxconfig -d /dev/mst/mt4099_pciconf0 set LINK_TYPE_P1=1

1代表Infiniband模式 2代表Ethernet模式

reboot #重启系统后生效

重启完成后运行ibstat，显示Physical state为Link UP，Link Layer为InfiniBand,此时网口的灯应该已经亮了。

网络配置

ifocnfig查看IB卡信息，默认网卡名为ib0

使用nmtui新建网卡接口，类型选择InfiniBand,设备输入ib0，配置IP和掩码。

nmcli n off && nmcli n on 重启整个网络

nmcli c down ib0 && nmcli c up ib0 #重启指定网卡

重启后ip就配置好了。