【CANN训练营第三期】预习课程1、2小节笔记
【摘要】 第一章：CANN的一些简介CANN逻辑架构AscendCL应用开发框架介绍计算图引擎GE第二章：Tensorflow训练脚本迁移所需知识：Python脚本编写、Tensorflow基本用法前期准备：Ascend 910环境；能在GPU上跑通的训练脚本；与脚本配套的数据集。Estimator迁移迁移到NPU上：1、 将batch中添加drop_remainder=True；2、 RunConf...
第一章：CANN的一些简介
CANN逻辑架构
.png)
AscendCL应用开发框架介绍
.png)
计算图引擎GE
.png)
第二章：Tensorflow训练脚本迁移
所需知识：Python脚本编写、Tensorflow基本用法
前期准备：Ascend 910环境；能在GPU上跑通的训练脚本；与脚本配套的数据集。
Estimator迁移
.png)
迁移到NPU上：
1、 将batch中添加drop_remainder=True；
2、 RunConfig要平行迁移，并在前面加上NPU；config要改为npu_config，删掉tf.estimator，并且在头部引用中需在原有基础上加入：
from npu_bridge.estimator.npu.npu_config import NPURunConfig以及
from npu_bridge.estimator.npu.npu_estimator import NPUEstimator。
Sess.run迁移：
.png)
.png)
.png)
注意：配置的默认值勿动。
Keras迁移：
.png)
如果需要走原生迁移，复制画圈的代码部分：
.png)
混合精度训练：
.png)
.png)
.png)
.png)
.png)
注：opt是优化器，不是算子。
第三章：训练网络精度问题分析
.png)
NPU数据准备：
.png)
.png)
.png)
.png)
改动：在开头加入
from tensorflow.python import debug as tf_debug
第四章：训练网络性能优化
训练端到端时间分解：
.png)
.png)
注：训练时一般只需要配置task_trace即可，如需使用traning_trace(华为自有)，需配置fp_point和bp_point。
获取方法见下方：
.png)
常见性能优化：
.png)
数据预处理优化：
.png)
.png)
.png)
前向反向性能提升：
.png)
.png)
All Reduce优化：
.png)
.png)
.png)
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
评论（0）