1、鲲鹏DevKit介绍

鲲鹏开发套件Kunpeng DevKit提供全栈开发工具，集代码迁移、编译调试、性能调优、异常诊断等工具和功能于一体。将开发者的工作各个环节一一串联，提供了一个方便、快捷和专业的工具包，通过鲲鹏DevKit可以帮助用户高效开发，一展宏图。

2、性能分析工具简介

鲲鹏性能分析工具由四个子工具组成，分别为：系统性能分析、Java性能分析、系统诊断和调优助手。

系统性能分析是针对基于鲲鹏的服务器的性能分析工具，能收集服务器的处理器硬件、操作系统、进程/线程、函数等各层次的性能数据，分析系统性能指标，定位到系统瓶颈点及热点函数，并给出优化建议。该工具可以辅助用户快速定位和处理软件性能问题。

Java性能分析是针对基于鲲鹏的服务器上运行的Java程序的性能分析和优化工具，能图形化显示Java程序的堆、线程、锁、垃圾回收等信息，收集热点函数、定位程序瓶颈点，帮助用户采取针对性优化。

系统诊断是针对基于鲲鹏的服务器的性能分析工具，提供内存泄漏诊断（包括内存未释放和异常释放）、内存越界诊断、内存消耗信息分析展示、OOM诊断能力、网络丢包等，帮助用户识别出源代码中内存使用的问题点，提升程序的可靠性，工具还支持压测系统，如：网络IO诊断，评估系统最大性能。

调优助手是针对基于鲲鹏的服务器的调优工具，能系统化组织性能指标，引导用户分析性能瓶颈，实现快速调优。

其中，调优助手通过系统化组织和分析性能指标、热点函数、系统配置等信息，形成系统资源消耗链条，引导用户根据优化路径分析性能瓶颈，并针对每条优化路径给出优化建议和操作指导，以此实现快速调优。解决客户软件运行遇到性能问题时凭人工经验定位困难，调优能力弱的痛点。

3、  性能分析工具应用场景

客户软件在基于鲲鹏的服务器上运行遇到性能问题时，可用系统性能分析来快速分析和定位。

系统性能分析工具将采集系统如下数据：

• 系统软硬件配置和运行信息，例如：CPU类型、内存部署槽位、Kernel版本、内核参数、文件系统、系统运行日志参数等。
• 系统的CPU、内存、存储IO、磁盘IO等性能指标。
• 处理器PMU、SPE的性能数据。
• 处理器访问Cache/内存的次数、带宽、吞吐率等。
• 系统内核进行CPU资源调度、IO操作等数据。
• 进程/线程的CPU、内存、存储IO、上下文切换、系统调用等数据；进程命令行信息，包括：进程名、进程参数。
• 系统的热点函数及其调用栈；热点函数归属的程序/动态库（包含绝对路径）；热点函数的汇编指令和热点指令；热点函数所对应的源代码（需要用户自行提供）。

客户Java应用软件在基于鲲鹏的服务器上运行遇到性能问题时，可用Java性能分析来快速分析和定位。

Java性能分析工具将采集如下数据：

• Java进程运行环境信息，如：PID、JVM版本、JAVA版本、Main class、进程启动参数等。
• Java进程的CPU活动、内存占用、类加载信息、线程运行状态信息、系统的存储容量等。
• 可触发采集进程的堆转储信息，并获取堆转储中的类，实例，对象引用链等信息。
• Java进程的文件IO、SocketIO操作、数据库操作、HTTP请求、SpringBoot运行信息等。
• 对Java进程的方法、线程、内存、老年代对象、调用栈进行采样生成JFR采样文件。

客户软件在基于鲲鹏的服务器上运行遇到性能问题时，可用系统诊断来快速分析和定位。

系统诊断工具将采集系统如下数据：

• 内存泄漏次数
• 内存泄漏大小
• 内存异常释放次数
• self内存泄漏
• 调用栈信息
• 系统的物理内存和虚拟内存大小
• 进程的内存MAP信息
• 应用的申请内存大小、申请次数、申请字节数、释放次数、释放字节数、泄漏次数以及泄漏字节数
• 分配器的分配内存、空闲内存、使用内存、Arena数、mmap区域数量以及mmap区域大小。
• 系统软硬件配置和运行信息，例如：CPU类型、内存部署槽位、Kernel版本、内核参数、文件系统、系统运行日志参数等。
• 系统的CPU、内存、存储IO、磁盘IO等性能指标。
• 处理器PMU、SPE的性能数据。
• 处理器访问Cache/内存的次数、带宽、吞吐率等。
• 系统内核进行CPU资源调度、IO操作等数据。
• 进程/线程的CPU、内存、存储IO、上下文切换、系统调用等数据；进程命令行信息，包括：进程名、进程参数。
• 系统的热点函数及其调用栈；热点函数归属的程序/动态库（包含绝对路径）；热点函数的汇编指令和热点指令；热点函数所对应的源代码（需要用户自行提供）。

4、  实现原理

调优助手采集的数据覆盖OS、应用、硬件等系统各层的配置和性能指标，并根据硬件资源的消耗，来关联消耗这些硬件资源的软件信息，再从这些软件信息，来查看软件对其它的硬件资源消耗，从而推断出性能瓶颈。将数据从应用消耗、物理消耗以及硬件关联在一起。

• Analysis Server：实现性能数据分析及分析结果呈现。

• Agent：实现性能数据采集。

说明：

鲲鹏性能分析工具只采集系统运行过程中的性能数据，不采集用户数据，不会造成客户信息泄露。

5、  调优助手使用

5.1、   准备环境

步骤

① 准备用于安装鲲鹏性能分析工具基于鲲鹏916/920的服务器。
②如果服务器环境不能联网，登录操作系统官网下载对应版本的系统镜像。
③ 登录鲲鹏社区下载最新的鲲鹏性能分析工具软件包。

了解详细步骤

1

服务器操作系统版本

2

下载软件包

说明

① 鲲鹏性能分析工具支持的操作系统、虚拟机和Docker容器的详细配置要求请参见鲲鹏开发套件兼容性查询助手。
② 如果操作系统环境可以联网，且确保操作系统默认yum/apt/zypper源可用，则可跳过步骤②。
③ 获取软件包后，需要校验软件包，确保与网站上的原始软件包一致。校验工具和校验方法点此参考。

5.2、 安装

步骤

① 将鲲鹏性能分析工具安装包上传至服务器任意目录下，例如“/home”目录。
② 执行cd /home命令进入保存鲲鹏性能分析工具软件包的目录。执行tar -zxvf Hyper-Tuner-x.x.x.tar.gz命令解压软件包。
③ 执行cd Hyper_tuner命令进入解压后的软件包目录。执行./install.sh命令安装工具，并根据回显中的提示信息配置安装参数。

1

上传软件安装包

2

解压安装包

3

安装工具

说明

① 如果操作系统默认的yum/apt/zypper源不可用，工具安装过程中会从华为开源镜像站匹配对应的镜像文件，并给出下载地址。如果没有匹配到，请自行获取操作系统版本对应的镜像文件，镜像文件名称请参见鲲鹏开发套件兼容性查询助手。
② 如果是在Docker容器中安装工具，需要先配置Docker容器环境，详细步骤请参见配置Docker容器环境。
③ 工具安装完成后会判断是否放开防火墙服务端口，当用户在交互界面输入“y”，将自动开启服务端口。如果服务器防火墙是关闭状态，或防火墙服务端口已开启，会跳过此步骤。

5.3、  登录系统性能分析Web界面

步骤

• 打开本地PC机的浏览器，输入https://部署服务器的IP:端口号（例如：https://**.**.**.**:8086），按“Enter”。首次登录，需要先创建管理员密码。
  ② 输入用户名密码，按“Enter”或者单击“登录”，进入鲲鹏性能分析工具首页界面。
  ③ （以界面实际显示情况为准）选择需要的分析类型，进入性能分析首页界面。

1

首次登录

2

登录

3

鲲鹏性能分析工具首页

说明

① 默认连续5次登录失败，系统将对此用户进行锁定，锁定3分钟后可以重新登录。
② 单个用户只允许1个活跃会话，如果当前用户已经在登录使用，重复登录会挤掉前面的登录。

5.4、 添加节点

步骤

① 依次单击“节点管理 > 添加节点”。
② 配置节点参数，单击“确认”。

1

节点管理

2

添加节点

说明

① Web服务器（即安装鲲鹏性能分析工具的服务器）默认安装了节点，如果待分析的服务器与安装工具的服务器是同一个，请跳过该步骤。
② 认证方式选择“密钥认证”时需要在安装鲲鹏性能分析工具的服务器上设置SSH认证信息。

5.5、 创建工程

步骤

① 单击首页界面“工程管理”区域的创建工程按钮。
② 输入用户自定义工程名称，在服务器节点列表中勾选需要分析的节点。
③ 单击“确认”完成工程的创建。

1

新建工程

2

选择场景及节点

说明

通用场景、大数据场景和分布式存储场景最多支持10个节点同时进行采样分析，HPC场景只支持单个节点进行采样分析。

5.6、  创建分析任务

步骤

① 单击指定工程后面的创建任务按钮。
② 选择指定分析任务类型，配置任务参数。单击“确认”完成分析任务的创建。
③ 分析任务执行完成后，自动跳转分析结果“总览”页面。详细参数说明请参见《鲲鹏性能分析工具 用户指南》中各分析任务章节。

1

新建任务

2

配置任务参数

3

查看分析结果

说明

① 所有用户都只能在自建的工程下新建分析任务。

② 针对部分指标项，工具会根据当前已有的基准值和优化经验提供优化建议。使用者可参考优化建议对系统或应用程序进行优化。

5.7、  添加目标环境

步骤

① 单击首页界面“目标环境”区域的添加目标环境按钮。
② 配置目标环境参数，单击“确认”。
③ 在弹出的操作确认对话框中单击“确认”。

说明

① 待部署分析辅助软件的服务器已开启sshd。
② 操作系统管理员用户部署的分析辅助软件可以获取服务器上所有已运行的Java进程；非操作系统管理员用户部署的分析辅助软件只能获取服务器上该用户权限下的已运行的Java进程。

5.8、  创建在线分析任务

步骤

① 单击“Java进程”区域指定进程后面的“在线分析”按钮。
② 自动跳转分析结果“概览”页面，查看分析结果。分析结果的详细参数说明请参见查看分析结果章节。

说明

① 运行Java进程的JDK版本要求为JDK 8及以上。
② 进行在线分析的进程，性能会受到较大影响。

了解详细步骤

1

创建在线分析任务

5.9、 创建采样分析任务

步骤

① 单击“Java进程”区域指定进程后面的“采样分析”按钮。
② 配置任务参数后单击“确认”。详细参数说明请参见创建采样分析任务章节。
③ 分析任务执行完成后，自动跳转分析结果“环境信息”页面，查看分析结果。分析结果的详细参数说明请参见查看分析结果章节。

说明

① 运行Java进程的JDK版本要求为Open JDK 11及以上。
② 记录方式选择不限制记录时长时，需要手动停止采样分析。

了解详细步骤

1

创建采样分析任务

2

查看分析结果

单击图片可查看原图

5.10、  添加诊断节点

步骤

① 依次单击“节点管理 > 添加节点”。
② 配置节点参数，单击“确认”。

说明

① Web服务器（即安装鲲鹏性能分析工具的服务器）默认安装了节点，如果待分析的服务器与安装工具的服务器是同一个，请跳过该步骤。
② 认证方式选择“密钥认证”时需要在安装鲲鹏性能分析工具的服务器上设置SSH认证信息，详细操作请参见设置节点服务器SSH认证信息。

了解详细步骤

1

节点管理

2

添加节点

5.11、   创建工程

步骤

① 单击首页界面“工程管理”区域的创建工程按钮。
② 输入用户自定义工程名称，在服务器节点列表中勾选需要分析的节点。
③ 单击“确认”完成工程的创建。

说明

当前最多支持10个节点同时进行采样分析。

了解详细步骤

1

新建工程

2

选择场景及节点

5.12、  创建分析任务

步骤

① 单击指定工程后面的创建任务按钮。
② 选择指定分析任务类型，配置任务参数。单击“确认”完成分析任务的创建。
③ 分析任务执行完成后，自动跳转分析结果“Call Tree”页面。详细参数说明请参见《鲲鹏性能分析工具 用户指南》中各分析任务章节。

说明

① 所有用户都只能在自建的工程下新建分析任务。

② 针对部分指标项，工具会根据当前已有的基准值和优化经验提供优化建议。使用者可参考优化建议对系统或应用程序进行优化。

了解详细步骤

1

新建任务

2

配置任务参数

3

查看分析结果

5.13、 卸载工具

步骤

① 使用SSH远程登录工具，以系统用户登录Linux操作系统命令行界面。若以普通用户登录，需要执行su切换到root用户下执行后续操作。执行cd /opt/hyper_tuner命令进入鲲鹏性能分析工具安装目录（“/opt/hyper_tuner”为工具安装目录，请根据实际情况替换）。
② 执行./hyper_tuner_uninstall.sh命令，选择卸载工具的类型，输入“y”卸载工具。

说明

① 如果没有在Web界面删除手动添加的Agent节点，卸载系统性能分析过程中请根据实际情况输入登录Agent节点服务器的SSH私钥文件的绝对路径、SSH私钥文件的口令或者root用户密码依次卸载所有的Agent节点。
② 如果工具安装时选择自动打开防火墙服务端口，卸载工具后，端口会恢复至安装前的状态。

了解详细步骤

1

进入安装目录

2

卸载工具

6、   最佳实践

6.1、   MySQL调优实践（基于系统性能分析功能）

6.1.1、  调优概述

鲲鹏性能分析工具是一款针对鲲鹏平台的性能调优工具，包含系统性能分析和Java性能分析两大功能。本实践使用系统性能分析对MySQL所在服务器系统执行系统配置全景分析、性能全景分析以及函数分析，找到性能瓶颈点，并根据分析结果进行优化修改，从而实现MySQL系统的性能增强。

6.1.2、  环境要求

本实践以TaiShan 200服务器（型号2280）+CentOS 7.6组网举例，鲲鹏性能分析工具在其他鲲鹏平台和操作系统上的操作相同。

6.1.3、  调优思路

1. 在进行调优之前，先用Benchmark工具测试MySQL并发100个进程的性能数据。
2. 使用系统性能分析针对MySQL应用从函数分析、系统性能、系统配置维度进行性能分析，并根据性能分析结果得出性能瓶颈点以及优化方法。
3. 针对性能瓶颈点分别进行性能优化。优化完成后，用Benchmark工具测试MySQL并发100个进程的性能数据，与调优之前的性能进行对比，判断性能是否有提升。

6.1.4、  调优过程

6.1.4.1、    调优前数据库性能测试

使用Benchmark工具测试MySQL并发100个进程的性能数据。

1. 使用SSH远程登录工具，进入Linux操作系统命令行界面。
2. 执行如下命令进入BenchMark目录。

cd /home/ BenchMarkSQL/run

1. 修改配置文件。参考鲲鹏社区《BenchMarkSQL 用户指南 （CentOS 7.6）》中的“BenchMarkSQL测试MySQL”章节，修改压测环境中Benchmark配置文件，包括数据库服务器地址、端口、数据库名称、数据库用户帐号和密码等连接参数，以及进程并发参数loadworkers。
2. 执行./runDatabaseBuild.sh和./runBenchmark.sh命令，加载数据并运行BenchmarkSQL程序，查看“tpmTOTAL”的值为“138104”，如图1所示。

图1 数据库性能测试

MySQL应用的热点函数性能调优

6.1.4.2、    热点函数分析

1. 登录系统性能分析界面。
2. 创建工程。

说明：

创建工程时，需要选择MySQL所在的服务器节点。

1. 创建热点函数分析任务，并启动分析。

配置参数如图1所示。

图1 创建热点函数分析任务

1. 分析完成后，查看分析结果，如图2和图3所示。

从分析结果中的热点函数列表中可以发现，MySQL运行的Top1热点函数queued_spin_lock_slowpath调用栈占用了超过一半的运行时间。

图2 分析结果-总览

图3 分析结果-函数

6.1.4.3、    热点函数分析及优化方法

热点函数分析：从C/C++性能分析的Top10函数列表中可以看出，内核热点函数queued_spin_lock_slowpath调用栈占用了超过一半的运行时间，内核函数queued_spin_lock_slowpath调用栈中，存在大量的futex_wait函数和futex_wake函数，则判断内核中的线程频繁的保持和唤醒spin lock锁，从而占用大量的运行时间。因此需要减少MySQL进程进入内核态的次数，避免spin lock被频繁保持和唤醒。

优化方法：通过查看MySQL官方手册（https://dev.mysql.com/doc/refman/8.0/en/innodb-performance-spin_lock_polling.html）中关于spin_lock的介绍，可知MySQL引入了innodb_spin_wait_delay参数，控制自旋锁时间，同时引入innodb_sync_spin_loops参数，控制自旋锁的循环次数。

因此，可以用CPU计算资源换取MySQL进程内核态次数。即通过修改MySQL数据库配置文件，增加spin_loop的次数以及wait_delay的时间长度，防止自旋锁循环过快，尽量避免MySQL进程陷入内核态引起spin lock被频繁保持和唤醒，以此来调优MySQL性能。通过查看鲲鹏社区《MySQL 8.0.17 调优指南（鲲鹏920）》中的“数据库参数调优”章节：将“innodb_spin_wait_delay”设置为“180”，“innodb_sync_spin_loops”设置为“25”，会达到最优性能。

6.1.4.4、    修改MySQL配置文件

1. 修改MySQL的配置文件。

2. vi /etc/my.cnf

     3. 将tune中的参数做如下修改，如图4所示，防止进入系统自旋。

c.    innodb_spin_wait_delay=180

innodb_sync_spin_loops=25

图4 修改配置文件

1. 执行如下命令重启MySQL，使配置文件生效。
2. /etc/init.d/mysql restart

6.1.4.5、    重启热点函数分析

重新启动之前创建的C/C++性能分析任务，任务执行结束后，发现spin_lock自旋热点函数被消除，函数执行时间由29.9秒降低到17.3秒，如图5和图6所示。

图5 分析结果-总览

图6 分析结果-函数

6.1.4.6、    Benchmark测试

1. 使用SSH远程登录工具，进入Linux操作系统命令行界面。
2. 执行如下命令进入BenchMark目录。

cd /home/ BenchMarkSQL/run

1. 执行./runBenchmark.sh命令，运行Benchmarksql程序。查看“tpmTOTAL”的值由之前的“138104”变为当前的“699282”，性能提升明显。

图7 数据库性能测试

6.1.5、  实践总结

本实践中，经过对MySQL系统进行了热点函数和中断绑核两次调优后，使用Benchmark测试MySQL的“tpmTOTAL”值从“138104”提升到“704005”，数据库性能提升410%。

在进行其他应用调优时，需要根据鲲鹏性能分析工具采集分析的实际结果和对应的优化建议进行调优操作。具体的调优思路和调优过程，可以参考本实践。

6.2、   软中断调优实践（基于系统性能分析功能）

6.2.1、  调优介绍

使用鲲鹏性能分析工具（Hyper Tuner）中的系统性能分析功能对目标环境的空载系统执行系统性能全景分析、进程线程分析，找到性能瓶颈点，并根据分析结果进行优化修改，从而实现系统的性能增强或降低系统资源的消耗。

6.2.2、  组网环境

本实践以TaiShan 200服务器（型号2280）+CentOS 7.6组网举例，Hyper Tuner在其他鲲鹏平台和操作系统上的操作类似。

6.2.3、  调优思路

• 在进行调优之前，先用HyperTuner工具对目标环境的空载系统进行全局的系统性能分析。
• 对全景性能分析中有异常的指标进一步分析，并根据优化建议进行优化修改。
• 对优化后的系统再次进行全景性能分析，验证调优后的效果。

6.2.4、  调优过程

6.2.4.1、    执行性能全景分析

1. 登录系统性能分析Web界面。
2. 创建工程。
3. 创建全景分析任务，配置参数如下图所示。

图1 创建全景分析任务

1. 任务分析成功后，在分析结果的“性能”页签中用列表方式查看CPU的利用率信息。

图2 性能分析结果

    2. 依次对%usr（用户态CPU利用率）、%sys（内核态CPU利用率）、%soft（软中断CPU利用率）等指标进行排序，找出空载状态下，CPU利用率较高的指标。

经过排序发现，在128核的空载系统上，有12个核的软中断占用率均达到96%以上，整体占128核的9.27%，说明该空载系统上存在软中断的性能问题。

图3 性能分析结果

6.2.4.2、    执行线程分析

在性能全景分析的结果中，发现有12个核的软中断占用率在96%以上，整体占CPU（128核）利用率的9.27%，但目前系统是空载状态，没有运行其他应用，所以系统存在软中断的性能问题。

但目前仅仅通过全景分析，定位不到具体是哪一个进程发生了软中断，定位不到性能的瓶颈点。所以需要进一步执行进程线程分析任务，定位出具体是哪些进行或线程发生了软中断。

1. 创建进程线程分析任务，配置参数如下所示。

图1 创建进程线程分析任务

   2. 任务分析成功后，查看分析结果。

从分析结果中可以看到有12个ksoftirqd进程的CPU占用率在99%以上。

图2 分析结果

6.2.4.3、    性能瓶颈分析和优化

分析12个ksoftirqd进程对应的内核空间占用率均为99%以上，远超基准值，提示建议为“检查网络或驱动器堆栈是否存在瓶颈。”

所以初步判断是应该是TaiShan服务器的SP580（IN200）网卡驱动问题，可以尝试通过安装或升级高版本网卡驱动解决问题。

安装SP580网卡驱动步骤如下：

1. 下载网卡驱动包。

下载地址：https://support.huawei.com/enterprise/zh/software/250631875-ESW2000134264

    2.  上传网卡驱动包并解压。

图1 上传网卡驱动包

driver为kmod驱动存放目录，firmware为网卡固件存放目录，tools为hinicadm网卡工具目录。

在安装驱动时，根据实际情况选择配套的工具和驱动包。本次选择driver/linux/nic/CentOS7.6_arm/kmod-hinic-2.3.2.1_4.14.0_115-1.el7.aarch64.rpm。

    3.  安装网卡工具hinicadm，显示如下信息表示网卡工具安装成功。

rpm –ivh tools/linux_arm/nic/hinicadm-2.3.2.1-1.aarch64.rpm

图2 安装网卡工具

    4.  卸载自带网卡驱动包。

rmmod hinic

    5.  进入驱动包路径。

cd /driver/linux/nic/CentOS7.6_arm/

    6.  安装网卡驱动，显示如下信息表示网卡安装成功。

rpm -ivh kmod-hinic-2.3.2.1_4.14.0_115-1.el7.aarch64.rpm

图3 安装网卡驱动

    7.  加载驱动包。

modprobe hinic

    8.  查看驱动版本信息，验证是否安装成功。

hinicadm version -i hinic0

图4 查看驱动版本信息

6.2.5、  调优结果分析

本实践中，通过对TaiShan服务器上CentOS 7.6空载系统进行全景分析，发现有性能问题后，经过进程线程分析进一步定位问题的瓶颈点，并通过安装高版本网卡驱动后，解决软中断问题，降低系统整体资源消耗。

在进行其他TaiShan+CentOS 7.6上的应用调优之前，可以参考本实践，对系统进行整体的性能分析，降低不必要的资源消耗。

7、   结束语

调优助手软件基于鲲鹏服务器上运行遇到性能问题时，用于系统性能分析来快速分析和定位。在分析过程中主要以采集系统数据，如CPU类型、内存部署槽位、内核参数、文件系统等信息，通过对收集到的数据进行分析后优化，引导用户根据优化路径分析性能瓶颈，并针对每条优化路径给出优化建议和操作指导，以此实现快速调优。解决客户软件运行遇到性能问题时凭人工经验定位困难，调优能力弱的痛点。

8、   其它

本文整理自华为云社区【内容共创】活动第12期。
查看活动详情：https://bbs.huaweicloud.com/blogs/325315
相关任务详情：任务6：【鲲鹏DevKit直播】“0”门槛快速调优的秘密武器