建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

Jack20

发帖: 125粉丝: 157

发消息 + 关注

更新于2021年01月11日 16:54:49 532 7
直达本楼层的链接
楼主
显示全部楼层
[干货分享] 鲲鹏服务器网络调优笔记分享

通用网络调优方法

一、跨CPU集群绑核,内存访问同die

跨CPU Cluster绑核的好处:

      1.负载低的情况下可以最大的利用内存带宽。

      2.CPU绑核尽量分布到多个CPU Cluster上,其L3 Cache Tag上的竞争会明显减小,内存带宽和CPU计算性能可以相应提升。


按跨CPU Cluster绑核,内存访问同NUMA。

      以鲲鹏920 5250处理器为例,创建容器,容器名称8u16g_02,然后分配8核,绑核3,4,8,9,12,16,20,21,NUMAO节点,内存16G,然后创建容器的镜像是centos:latest,挂载本地volume卷,将本机"/home”映射到容器"/home”。

docker run -d -it --cpus=4 --cpuset-cpus=3,4,8,9,12,16,20,21 --cpuset-mems=0 -m 16384m --name 8u16g_02 -v /home:/homecentos:latest



docker run命令详细使用指导请参见:https://docs.docker.com/engine/reference/commandline/run/


二、网卡中断绑定

1.查看所需的网卡

2.查看网卡所在的NUMA节点,可根据实际情况将网卡中断绑到NUMA所在的节点CPU核

cat /sys /class/net/enp125s0fe/device/numa_node

image.png

3.关闭irqbalance服务,通过手动绑定中断的方法优化性能。

(1)停止irqbalance服务

service irqbalance stop

(2)关闭irqbalance服务

service irqbalance disable

image.png

4.查询网卡对应的中断号

cat /proc/interrupts | grep $eth | awk -F ':' '{print $1}' 

注:其中$eth表示需要优化的业务网口名称

image.png

5.查询当前网卡中断绑核情况,手动绑定网卡中断到指定的CPU

根据中断号,将每个中断各绑定在一个核上

echo $cpunum > /proc/irq/$irq/smp_affinity_list

注:其中$cpunum表示需要绑定到的目标CPU序列号,$irq表示步骤 1执行的结果,如存在多个序列号,则需逐一执行绑定。


三、网络参数调优

   对于不同的操作系统,通过在OS层面调整一些参数配置,可以有效提升服务器性能。

参数
含义和方法 操作命令

tcp_max_syn_backlog

tcp_max_syn_backlog是指定所能接受SYN同步包的最大客户端数量。

默认值是2048,建议修改成8192。

echo 8192 > /proc/sys/net/ipv4/tcp_max_syn_backlog

net.core.somaxconn

服务端所能accept即处理数据的最大客户端数量,即完成连接上限。

默认值是128,建议修改成1024。

echo 1024 > /proc/sys/net/core/somaxconn

net.core.rmem_max

接收套接字缓冲区大小的最大值。

默认值是229376,建议修改成16777216。

echo 16777216 > /proc/sys/net/core/rmem_max

net.core.wmem_max

发送套接字缓冲区大小的最大值(以字节为单位)。

默认值是229376,建议修改成16777216。

echo 16777216 > /proc/sys/net/core/wmem_max

net.ipv4.tcp_rmem

配置读缓冲的大小,三个值,第一个是这个读缓冲的最小值,第三个是最大值,中间的是默认值。

默认值是"4096 87380 6291456",建议修改成"4096 87380 16777216"。

echo "4096 87380 16777216" > /proc/sys/net/ipv4/tcp_rmem

net.ipv4.tcp_wmem

配置写缓冲的大小,三个值,第一个是这个写缓冲的最小值,第三个是最大值,中间的是默认值。

默认值是"4096 16384 4194304",建议修改成"4096 65536 16777216"。

echo "4096 65536 16777216" > /proc/sys/net/ipv4/tcp_wmem

net.ipv4.max_tw_buckets

表示系统同时保持TIME_WAIT套接字的最大数量。

默认值是2048,建议修改成360000。

echo 360000 > /proc/sys/net/ipv4/tcp_max_syn_backlog

举报
分享

分享文章到朋友圈

分享文章到微博

望闻问切ice

发帖: 411粉丝: 6

发消息 + 关注

发表于2021年01月11日 18:40:31
直达本楼层的链接
沙发
显示全部楼层

通用网络调优方法,很详细


评论
Jack20 2021-1-12 08:59 评论

谢谢支持

... 查看全部
点赞 评论 引用 举报

真爱无敌

发帖: 20粉丝: 98

发消息 + 关注

发表于2021年01月12日 09:01:16
直达本楼层的链接
板凳
显示全部楼层

干货,感谢分享!

评论
Jack20 2021-1-12 09:21 评论

谢谢点评,希望有所帮助

... 查看全部
点赞 评论 引用 举报

明天会更好

发帖: 0粉丝: 7

发消息 + 关注

发表于2021年01月12日 11:28:43
直达本楼层的链接
地板
显示全部楼层

很好,感谢分享

评论
Jack20 2021-1-12 11:48 评论

欢迎持续关注哟~

... 查看全部
点赞 评论 引用 举报

重新来过

发帖: 212粉丝: 12

发消息 + 关注

发表于2021年01月13日 16:38:59
直达本楼层的链接
5#
显示全部楼层

受益匪浅,网卡优化做好了通常都是5%到10%的性能提升

评论
Jack20 2021-1-13 20:48 评论

哈哈哈,论调优的重要性~

... 查看全部
点赞 评论 引用 举报

敬业的板砖工

发帖: 315粉丝: 25

发消息 + 关注

发表于2021年01月13日 19:03:58
直达本楼层的链接
6#
显示全部楼层

持续  可以的

评论
Jack20 2021-1-14 10:52 评论

谢谢点评,有大家的支持我会更加努力。

... 查看全部
点赞 评论 引用 举报

o0龙龙0o

发帖: 197粉丝: 18

发消息 + 关注

发表于2021年01月14日 14:59:27
直达本楼层的链接
7#
显示全部楼层

优秀的分享

点赞 评论 引用 举报

运维@大白鹅

发帖: 178粉丝: 17

发消息 + 关注

发表于2021年01月28日 16:36:01
直达本楼层的链接
8#
显示全部楼层

点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册