【鲲鹏 DevKit黑科技揭秘】│如何实现全链路系统问题90%精准诊断?

举报
技术火炬手 发表于 2022/01/04 10:10:58 2022/01/04
【摘要】 DevKit系统诊断工具是鲲鹏性能分析工具的子工具之一,能够针对内存、网络、存储等常见故障和异常,提供精准定位和诊断能力,帮助用户识别出源代码中的问题点,提升程序的可靠性,故障定位准确率高达90%。

你的电脑是不是很久没关机了?晚上下班再关闭所有应用,合上笔记本就离开,第二天输入密码继续干活不必再逐一查找处理了一半的文档和网页,长此以往,你是不是发现电脑越来越慢,闪退、反应迟钝,甚至忽然卡住、蓝屏?

其中很重要的因素,是因为长期频繁的读取新文件而不释放,会导致内存中缓存数据越来越多,当内存使用饱和之后,系统会将内存中的数据交换到硬盘中,此时如果要使用到这部分已经交换到硬盘上的数据,那么系统首先要把内存中久远、没有使用的数据再做一次到硬盘的交换腾出空间之后才能把硬盘中需要使用的数据加载到内存,如此复杂的流程,运行速度当然会变慢。

上述问题在服务器中同样存在,内存作为计算机/服务器的重要部件,帮助CPU通过总线寻址实现对其他部件的读写操作,内存故障常常导致系统整体性能下降、运行故障、甚至机。比如程序在申请内存后,如果不及时释放已申请的内存空间,频繁累积就会形成内存泄露,导致内存被占光触发OOM(Out of Memory内存越界会带来数据读写错误的风险,如果读取了不属于自己的数据会造成程序崩溃,将数据写入其他程序则会造成不可预料的后果。除了内存问题开发人员还会经常面临网络IO故障和存储问题比如系统配置错误,导致网络不通;系统处理数据包不及时,导致丢包另外,由于存储IO协议很长涉及文件系统、块、设备等多层次的读写和映射遇到慢盘问题很难定位具体是哪一层造成访问变慢。

面对上述问题,我们应该如何定位和修复呢?当前业界有各种诊断工具,针对不同问题进行诊断,然而这些工具通常操作比较复杂、学习成本高、定位时间长,找到问题点之后,也无法针对具体问题给出建议快速排除故障。开发者亟需一款操作简便、定位精准的系统诊断工具来解决开发过程中经常遇到的“老大难”问题。

DevKit系统诊断工具是鲲鹏性能分析工具的子工具之一,能够针对内存、网络、存储等常见故障和异常,提供精准定位和诊断能力,帮助用户识别出源代码中的问题点,提升程序的可靠性,故障定位准确率高达90%

Figure 1 功能全景图

内存诊断——快速识别内存泄漏和访问越界点

通过内存诊断能力,帮助用户识别应用程序中存在的内存使用的问题点,提升程序的可靠性,具体包括:内存泄漏诊断、内存越界诊断。

Figure 2 内存泄漏点及其调用关系

支持分析应用程序中存在的内存泄漏点,包括:内存未释放、内存异常释放等,得到具体的泄漏信息,并以调用树的形式展示出来。

    

Figure 3 泄漏点源代码

支持关联到内存泄漏点的源代码,精确定位到泄漏点所在的代码行。

Figure 4 内存消耗信息

支持跟踪应用程序运行期间系统层、应用层(调用内存申请函数)、分配器层的内存消耗情况,支持展示整个过程的汇总数据和时序数据。用户通过该信息可以了解应用程序在整个运行期间的内存变化情况,帮助定位未发现泄漏点但内存一直增加的问题。

Figure 5 OOM事件信息

监测系统OOM事件,分析发生OOM时的进程内存状态、系统内存状态和调用栈信息。

Figure 6 内存访问越界信息

支持分析应用程序中存在的内存越界访问点,给出越界访问类型和内存访问信息,并支持关联出调用栈和源码。

网络IO诊断——识别网络最大能力诊断丢包点

压测网络,获得网络最大能力,为网络IO性能优化提供基础参考数据;诊断网络,定位网络疑难问题,解决因网络配置和异常而导致的网络IO性能问题。具体包括:网络拨测、丢包诊断、网络抓包、系统负载监控。

Figure 7 连通性拨测结果

连通性拨测,基于ICMP协议测试网络连通性和时延,并根据网络KPI服务等级评估网络质量。针对网络不通的情况,给出排查建议。

Figure 8 TCP/UDP拨测结果

TCP/UCD拨测,基于TCP协议测试网络带宽和重传,基于UDP协议测试网络丢包和抖动,并根据网络KPI服务等级评估网络质量。针对测试失败的情况,给出排查建议。

Figure 9 丢包信息及其排查建议

诊断网络丢包点,定位网络丢包根因,给出修复建议。

Figure 10 网络抓包结果

支持网络抓包,辅助网络拨测和丢包诊断,根据抓取的网络消息包定位网络异常根因。

支持在诊断期间监控系统负载,包括:CPU、内存、网络IO、软硬件中断等,以此了解在网络拨测或发生网络丢包时,是否存在系统资源不足。

存储IO诊断——识别存储最大能力

由于存储设备在不同的业务场景下性能表现差异很大,例如:OLTP数据库每次IO是小块随机的,而OLAP数据库每次IO是大块顺序的,在相同的存储配置下,能够达到最大性能是相差很大的;如何识别,在不同业务场景下,存储IO能够达到的最大性能?

针对这个问题,DevKit系统诊断工具在2021年底将推出存储IO诊断功能,该功能能够按照一定业务的存储测试模型压测存储设备或文件,获取反映存储IO性能的吞吐量、IOPS、时延等指标,得到存储设备的最大能力,并以此评估存储能力,为存储IO性能优化提供基础参考数据。

Figure 11 存储IO压测结果

鲲鹏开发套件DevKit是面向开发者研发全作业流程的一站式开发套件,从2019年推出至今,提供了覆盖代码开发、迁移、编译、测试、调优、诊断等研发全作业流程的工具集,助力开发者极简开发。为了便于广大开发者们更加真实的体验、使用上述功能,DevKit还提供远程实验室,一站式预装DevKit开发环境,申请即可免费试用。

扫描免费申请试用

此外,想要了解更多关于DevKit的强大的功能,欢迎各位开发者访问DevKit专区。

DevKit专区,了解更多

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。