1. 环境描述

笔者使用华为云ModelArts弹性裸金属服务器-Ascend Snt9B服务器进行RoCE网卡带宽测试。

选择的服务器镜像是：  EulerOS-2.10-Arm-rc3-64bit-for-Snt9B-BareMetal-with-CANN7.0.RC1

该镜像已经安装CANN和mpich，并进行了环境配置。

2. 多机ROCE网卡带宽 

(a) 科普查看昇腾的RoCE IP的方法

(b) RoCE打流

s1:在接收端执行 -i 卡id

hccn_tool -i 7 -roce_test ib_send_bw -s 409600 -n 1000 -tcp

s2: 在发送端执行 -i 卡id   后面的ip为上一步接收端卡的ip

hccn_tool -i 0 -roce_test ib_send_bw -s 409600 -n 1000 address 29.39.151.164 -tcp

RoCE测试结果：

附. 昇腾一些常用命令

(1) 查看网卡状态UP和DOWN

for i in {0..7};do hccn_tool -i ${i} -link -g;done

(2) 查看单节点内网卡IP连通性

for i in $(seq 0 7);do hccn_tool -i $i -net_health -g;done

(3)   当某网卡已经开始roce带宽测试时，再次启动任务会报错如下，解决这个问题需要关闭roce_test任务.

hccn_tool -i 7 -roce_test reset