网卡性能问题案例分享

一 问题背景

项目中遇到客户端和服务端进行固定并发压测时，TaiShan服务器上任务执行时间过长，网卡性能未充分利用的问题

TaiShan服务器配置信息如下：

测试模型为：

测试端和服务端同时起500个进程，每个进程发10w个包。Client发包，每个包100个bytes；Server收到包后，回复一个10bytes的包。

在测试中，发现服务端网卡绑定的核软中断很高，并且任务执行时间较长。

二 原因分析

2.1 硬件信息分析

使用sar命令查看当前网络端口的瓶颈，发现当前测试远远未到达网卡吞吐的上限，说明瓶颈不在网卡侧。

2.2 软件分析

针对发现服务端网卡绑定的核软中断很高的问题，使用perf查看热点函数，发现50%消耗在arm_smmu_smdq_issue_cmd中。

通过该热点函数，分析系统的大部分资源消耗在了DMA地址映射上，该功能通过内核的IOMMU完成。

三 解决方案

参考相关内核补丁，（https://lists.linuxfoundation.org/pipermail/iommu/2017-March/020818.html）在内核启动参数中设置DMA操作在IOMMU中为直通模式。

在/boot/efi/EFI/centos/grub.cfg的第100中添加iommu.passthrough=1，如下所示：

修改后重启进行测试，测试结果有明显提升。

在此基础上进一步修改队列数

ethtool -L enp3s0 combined 48

在队列数为48的情况下性能最优，测试结果得到明显提升。

四 总结

解决思路总结如下：

1.  当前内核的IOMMU模块成为了当前的性能瓶颈

2.      需要修改内核的iommu参数为直通模式