1.什么是性能?性能指标有哪些？

计算机的性能，其实和我们干体力劳动很像，好比是我们要搬东西。对于计算机的性能，我们需要有个标准来衡量。这个标准中主要有两个指标。第一个是响应时间（Response time）或者叫执行时间（Execution time）。想要提升响应时间这个性能指标，你可以理解为让计算机“跑得更快”。

第二个是吞吐率（Throughput）或者带宽（Bandwidth），想要提升这个指标，你可以理解为让计算机“搬得更多”。所以说，响应时间指的就是，我们执行一个程序，到底需要花多少时间。花的时间越少， 自然性能就越好。而吞吐率是指我们在一定的时间范围内，到底能处理多少事情。这里的“事情”，在计算机里就是处理的数据或者执行的程序指令。和搬东西来做对比，如果我们的响应时间短，跑得快，我们可以来回多跑几趟多搬几趟。所以说，缩短程序的响应时间，一般来说都会提升吞吐率。

除了缩短响应时间，我们还有别的方法吗？当然有，比如说，我们还可以多找几个人一起来搬，这就类似现代的服务器都是 8 核、16 核的。人多力量大，同时处理数据，在单位时间内就可以处理更多数据，吞吐率自然也就上去了。提升吞吐率的办法有很多。大部分时候，我们只要多加一些机器，多堆一些硬件就好了。但是响应时间的提升却没有那么容易，因为 CPU 的性能提升其实在 10 年前就处于“挤牙膏”的状态了，所以我们得慎重地来分析对待。

下面我们具体来看。我们一般把性能，定义成响应时间的倒数，也就是：性能 = 1/ 响应时间这样一来，响应时间越短，性能的数值就越大。同样一个程序，在 Intel 最新的 CPU Coffee Lake 上，只需要 30s 就能运行完成，而在 5 年前 CPU Sandy Bridge 上，需要 1min 才能完成。那么我们自然可以算出来，Coffee Lake 的性能是 1/30，Sandy Bridge 的性能是 1/60，两个的性能比为 2。于是，我们就可以说，Coffee Lake 的性能是 Sandy Bridge 的 2 倍。过去几年流行的手机跑分软件，就是把多个预设好的程序在手机上运行，然后根据运行需要的时间，算出一个分数来给出手机的性能评估。而在业界，各大 CPU 和服务器厂商组织了一个叫作 SPEC（Standard Performance Evaluation Corporation）的第三方机构，专门用来指定各种“跑分”的规则。

2.如果性能不达标怎么办？

使用Profiler性能分析器首先确定性能瓶颈出现在哪里，定位性能问题出现的根本原因，按照具体原因去做优化。

通常来说，性能问题大致出现在两个方面：

1.细节不够好(资源问题、插件问题、代码写法问题)

2.结构不够好(框架问题、底层API问题)

细节问题解决成本低，可以独立调整，对其他部分影响小，可以批量解决。

结构问题解决成本高，牵一发动全身，对其他部分影响大，需要大修、大测。

由于游戏整体是由各个细节组成的，所以当细节做的不够好时，整体也会显现出问题。

反之当结构不够好时，细节即使做的很好，游戏整体表现出的性能也不会太好，两者是相辅相成的。

我的建议是：用严格认真的态度控制细节，用丰富的经验积累出可靠的结构。

前者靠态度，后者靠经验。当我们经验不多时，应该依靠态度严控细节，当我们经验足够时，两方面都要兼顾。

3.训练服务器的演示及简介

Atlas 800 训练服务器（型号9000）是基于华为鲲鹏920+昇腾910处理器的AI训练服务器，实现完全自主可控，广泛应用于深度学习模型开发和AI训练服务场景。该服务器面向公有云、互联网、运营商、政府、交通、金融、高校、电力等领域，具有高计算密度、高能效比、高网络带宽、易扩展、易管理等优点，支持单机和整机柜销售，支持风冷和液冷应用，满足企业机房部署和大规模数据中心集群部署。

计算产品3D展示 (huawei.com)

大家可以使用上面的地址进行3D模型预览及展示，可以看这个服务器的构造及拆解组件，体验感十足。

这个性能分析在昇腾全栈AI软硬件平台主要体现在标记的异构计算架构部分，释放硬件的算力。

4.训练执行的过程是什么样的？

1).数据读取阶段：主要影响在HOST侧

2).数据预处理阶段：HOST和DEVICE都可能涉及

3).训练后处理阶段：HOST和DEVICE都可能涉及

相关文档Log/Summary_昇腾CANN社区版(5.0.3 alpha 001)(训练)_TensorFlow模型迁移和训练_手工迁移和训练_更多特性_华为云 (huaweicloud.com)

4）.训练执行阶段：主要影响在DEVICE侧

6.打开Profiling前，确认当前源码状态(确认当前源码处在手工迁移后的状态)

原始的代码：
sess=tf.Session()
自动迁移后的代码：
sess = tf.Session(config=npu_config_proto())
手工迁移后的代码：
config = tf.ConfigProto()
custom_op = config.graph_options.rewrite_options.custom_optimizers.add()
custom_op.name = "NpuOptimizer"
config.graph_options.rewrite_options.remapping = RewriterConfig.OFF
config.graph_options.rewrite_options.memory_optimization = RewriterConfig.OFF
sess = tf.Session(config=config)

设置Profiling开关，打开Profiling。

手工迁移后的代码：
config = tf.ConfigProto()
custom_op = config.graph_options.rewrite_options.custom_optimizers.add()
custom_op.name = "NpuOptimizer"
config.graph_options.rewrite_options.remapping = RewriterConfig.OFF
config.graph_options.rewrite_options.memory_optimization = RewriterConfig.OFF
sess = tf.Session(config=config)
设置profiling后的代码：
config = tf.ConfigProto()
custom_op = config.graph_options.rewrite_options.custom_optimizers.add()
custom_op.name = "NpuOptimizer"
custom_op.parameter_map["profiling_mode"].b = True
custom_op.parameter_map["profiling_options"].s =
tf.compat.as_bytes('{"output":"/mypath/output","task_trace":"on","training_trace":"on","aicpu":"on","fp_point":"","bp_point":""}')
config.graph_options.rewrite_options.remapping = RewriterConfig.OFF
config.graph_options.rewrite_options.memory_optimization = RewriterConfig.OFF
sess = tf.Session(config=config)

操作手册请参考功能介绍_昇腾CANN社区版(5.0.3 alpha 001)(训练)_开发辅助工具_Profiling工具使用指南_概述_华为云 (huaweicloud.com)

7.总结：遇到性能问题时，推荐的debug顺序和手段是什么样的？

core dump的调试

首先说一下core的解决思路，主要是如下几点：

• gdb及debug log定位，发现作用不大。
• 如何重现bug？
• 构造高并发压力测试系统。
• 构造稳定的异常请求。

使用TC(traffic control)工具来构造弱网络环境，但是转念一想，弱网络环境导致的结果是什么？显然是网络请求的各种异常啊,所以还不如直接构造各种异常请求来复现问题。于是准备构造测试工具和环境，需要满足两个条件：

• 并发性能强，能够同时发送数万甚至数十万级以上qps。
• 请求需要一定概率的异常。特别是TCP握手及SSL握手阶段，需要异常中止。

WRK压力测试工具

由于高并发流量时才可能出core，所以首先就需要找一个性能强大的压测工具。
WRK是一款非常优秀的开源HTTP压力测试工具，采用多线程 + 异步事件驱动的框架，其中事件机制使用了redis的ae事件框架，协议解析使用了nginx的相关代码。
相比ab（apache bench）等传统压力测试工具的优点就是性能好，基本上单台机器发送几百万pqs,打满网卡都没有问题。
wrk的缺点就是只支持HTTP类协议，不支持其他协议类测试，比如protobuf，另外数据显示也不是很方便。

nginx的测试用法： wrk -t500 -c2000 -d30s https://127.0.0.1:8443/index.html

linux世界有许多非常好用的性能分析工具，我挑选几款最常用的简单介绍下：
1. [perf](Perf Wiki)应该是最全面最方便的一个性能检测工具。由linux内核携带并且同步更新，基本能满足日常使用。**推荐大家使用**。
2. oprofile，我觉得是一个较过时的性能检测工具了，基本被perf取代，命令使用起来也不太方便。比如opcontrol --no-vmlinux , opcontrol --init等命令启动，然后是opcontrol --start， opcontrol --dump， opcontrol -h停止，opreport查看结果等，一大串命令和参数。有时候使用还容易忘记初始化，数据就是空的。
3. gprof主要是针对应用层程序的性能分析工具，缺点是需要重新编译程序，而且对程序性能有一些影响。不支持内核层面的一些统计，优点就是应用层的函数性能统计比较精细，接近我们对日常性能的理解，比如各个函数时间的运行时间，，函数的调用次数等，很人性易读。
4. systemtap 其实是一个运行时程序或者系统信息采集框架，主要用于动态追踪，当然也能用做性能分析，功能最强大，同时使用也相对复杂。不是一个简单的工具，可以说是一门动态追踪语言。如果程序出现非常麻烦的性能问题时，推荐使用 systemtap。

这里再多介绍一下perf命令，tlinux系统上默认都有安装，比如通过perf top就能列举出当前系统或者进程的热点事件，函数的排序。
perf record能够纪录和保存系统或者进程的性能事件，用于后面的分析，比如火焰图。

• 调试BUG是一次非常难得的学习机会，不要把它看成是负担。不管是线上还是线下，能够主动地，高效地追查BUG特别是有难度的BUG，对自己来说一次非常宝贵的学习机会。面对这么好的学习机会，自然要充满热情，要如饥似渴，回首一看，如果不是因为这个BUG，我也不会对一些工具有更深入地了解和使用，也就不会有这篇文档的产生。
• 不管什么样的BUG，随着时间的推移，肯定是能够解决的。这样想想，其实会轻松很多，特别是接手新项目，改造复杂工程时，由于对代码，对业务一开始并不是很熟悉，需要一个过渡期。但关键是，你要把这些问题放在心上。白天上班有很多事情干扰，上下班路上，晚上睡觉前，大脑反而会更加清醒，思路也会更加清晰。特别是白天上班时容易思维定势，陷入一个长时间的误区，在那里调试了半天，结果大脑一片混沌。睡觉前或者上下班路上一个人时，反而能想出一些新的思路和办法。
• 开放地讨论。遇到问题不要不好意思，不管多简单，多低级，只要这个问题不是你google一下就能得到的结论，大胆地，认真地和组内同事讨论。方法总比困难多！

本文整理自华为云社区【内容共创系列】活动。
查看活动详情：https://bbs.huaweicloud.com/blogs/314887
相关任务详情：任务3你为什么这么慢？！Profiling工具性能分析