建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
请选择 进入手机版 | 继续访问电脑版
设置昵称

在此一键设置昵称,即可参与社区互动!

确定
我再想想
选择版块
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

hw70569427

发帖: 2粉丝: 1

级别 : 新手上路

发消息 + 关注

发表于2020年03月30日 16:16:28 859 3
直达本楼层的链接
楼主
显示全部楼层
[干货分享] 性能测试TPS不达标常见情况分析及调优(基于Taishan服务器、分布式Gauss DB 100)

image.png

一般情况下,在资源被占满得情况下,TPS和响应时间出现拐点,此时为系统得瓶颈。

 

但大多数情况下,不会是如上的理想状态,此时需要分析出阻碍点,并做出优化调整。

 

2.压力下发的数据流向图:

客户端执行机->网络传输(100兆交换机)->业务系统服务器->网络传输(100兆交换机)->DB 服务器

 

3. 基于以上模型的各种情况分析及解决方案

1)随着并发的增加,TPS上不去,响应时间尚可。

分析思路:

1)在每个节点上加监控:

a. 监控内存、CPU

#top

b. 监控io

#iostat -xm 1

c. 监控网络带宽使用情况

#sar -n DEV 1

2) 通过对各个节点的监控,发现压力没有到达业务系统和DB服务器上,接收和传输的包大小:11M,说明瓶颈是由于交换机带宽不够

说明:

100兆交换机实际传输速率:11M左右

1000兆交换机实际传输速率:100M左右


3) 解决方案:如果实际情况下有资源,则可将中间传输的交换机更换为1000兆等更大的设备

由于该项目时,没有足够的资源,故通过计算得出实际DB服务器的压力不大,故将业务系统代码、客户端执行机均部署到DB服务器上,进行压测,问题解决。

 

(2)单个接口,小并发的情况下,响应时间过长

分析思路:

1)SQL分析,将接口需要处理的SQL语句,直接放在DB中执行,查看执行时间:

正常情况下:插入类SQL,单个响应时间为:10ms左右

            查询类SQL,单个响应时间为:20ms左右

具体情况根据数据量的不同而不同

A. 如果执行时间过大,说明SQL性能差

2SQL问题,性能及解决方案:

查看解析执行计划,优化SQL :

是否涉及:全表扫描(可以创建合理的索引)、隐式转换(处理隐式转换)、多表连接等。

根据不同的业务场景需求及数据量等,可以合理的创建表结构,利用常用查询条件进行分区、分片。

3SQL直接执行没有问题,则直接压测SQL语句,发现响应时间符合要求,则排除DB的问题

4)并发测试后,分析业务系统请求及响应日志,得出业务系统处理时间过长,则需要优化业务系统代码。

 

(3)业务场景:插入,大并发压测下,大量报错且响应时间长TPS上不去

分析思路:

1)查询报错信息,返回db连接超时

2)DN上查询是否存在锁表:

Sql>select * from V$locked_object;

3)由于本项目硬件内存不够,且在TPCC测试大并发加压得情况下总是出现行锁,预估是内存不够导致。

4) 替代解决方案:将数据库锁表超时等待设置为3s

 

(4)TPCC测试时TPCC值上不去,网络存在较大的延迟丢包的现象

分析解决:

1)由于正常情况下网络无丢包和延迟的情况,故怀疑网卡通道数为单通道。(下图)                     image.png                            

2)  #ethtool -l enp3s0(网卡,发现服务器最大通道数和当前通道数为:(下图) 

image.png

3)由于正常情况下默认通道数为6416故怀疑网卡驱动存在问题

4)在华为平台上搜索符合当前网卡型号的驱动并进行升级

5#ethtool -i enp3s0(网卡)查询升级信息,发现其中一台升级失败(右图3),另一台通道数仍不正确(右图2

image.png

6)对于通道数不正确的服务器,升级网卡固件后,恢复

7)对于网卡驱动升级失败服务器,经查询发现该服务器内核升级过

8)对于升级过内核的服务器,无法成功安装网卡驱动,由于该操作系统通过rpm包直接升级的内核,故只需要卸载安装rpm包降级到原来的内核下,再安装网卡驱动成功

9)网卡中断绑定


举报
分享

分享文章到朋友圈

分享文章到微博

五湖四海@银河护卫队

发帖: 117粉丝: 43

级别 : 版主

发消息 + 关注

发表于2020年03月31日 09:06:31
直达本楼层的链接
沙发
显示全部楼层

点赞 评论 引用 举报

北冥有鱼.

发帖: 71粉丝: 7

级别 : 外部版主

发消息 + 关注

发表于2020年03月31日 09:07:54
直达本楼层的链接
板凳
显示全部楼层

 前来学习了

点赞 评论 引用 举报

Amber@银河护卫队

发帖: 16粉丝: 5

级别 : 版主

发消息 + 关注

发表于2020年06月10日 09:45:19
直达本楼层的链接
地板
显示全部楼层

赞一个

点赞 评论 引用 举报

游客

富文本
Markdown
您需要登录后才可以回帖 登录 | 立即注册