【CANN训练营第三期】预习课程1、2小节笔记

第一章：CANN的一些简介

CANN逻辑架构

AscendCL应用开发框架介绍

计算图引擎GE

第二章：Tensorflow训练脚本迁移

所需知识：Python脚本编写、Tensorflow基本用法

前期准备：Ascend 910环境；能在GPU上跑通的训练脚本；与脚本配套的数据集。

Estimator迁移

迁移到NPU上：

1、 将batch中添加drop_remainder=True；

2、 RunConfig要平行迁移，并在前面加上NPU；config要改为npu_config，删掉tf.estimator，并且在头部引用中需在原有基础上加入：

from npu_bridge.estimator.npu.npu_config import NPURunConfig以及

from npu_bridge.estimator.npu.npu_estimator import NPUEstimator。

Sess.run迁移：

注意：配置的默认值勿动。

Keras迁移：

如果需要走原生迁移，复制画圈的代码部分：

混合精度训练：

注：opt是优化器，不是算子。

第三章：训练网络精度问题分析

NPU数据准备：

改动：在开头加入

from tensorflow.python import debug as tf_debug

第四章：训练网络性能优化

训练端到端时间分解：

注：训练时一般只需要配置task_trace即可，如需使用traning_trace(华为自有)，需配置fp_point和bp_point。

获取方法见下方：

常见性能优化：

数据预处理优化：

前向反向性能提升：

All Reduce优化：