【2023 · CANN训练营第一季】昇腾AI入门课（Pytorch)——第二章学习笔记

PyTorch 模型迁移方案特点

当前阶段针对PyTorch框架实现的对接适配昇腾AI处理器的方案为在线对接方案

当前选择在线对接适配方案的主要原因有以下几点：

1. 最大限度的继承PyTorch框架动态图的特性。
2. 最大限度的继承GPU在PyTorch上的使用方式，可以使用户在将模型移植到昇腾AI处理器设备进行训练时，在开发方式和代码重用方面做到最小的改动。
3. 最大限度的继承PyTorch原生的体系结构，保留框架本身出色的特性，比如自动微分、动态分发、Debug、Profiling、Storage共享机制以及设备侧的动态内存管理等。
4. 扩展性好。在打通流程的通路之上，对于新增的网络类型或结构，只需涉及相关计算类算子的开发和实现。框架类算子，反向图建立和实现机制等结构可保持复用。
5. 与GPU的使用方式和风格保持一致。用户在使用在线对接方案时，只需在Python侧和device相关操作中，指定device为昇腾AI处理器，即可完成用昇腾AI处理器在PyTorch对网络的开发、训练以及调试，用户无需进一步关注昇腾AI处理器具体的底层细节。这样可以确保用户的修改最小化，迁移成本较低。

同时使用这种方案也存在一些约束和限制，如

• 不支持float16类型的inf/nan数据输入输出。inf表示无穷大数值，nan表示无穷小数值，当一个数超出表示范围时会转为inf，小于能表示的精度时会转为nan。
• APEX（混合精度训练加速模块）当前版本的实现方式为Python实现，不支持APEX中的自定义优化CUDA Kernel。
• APEX当前版本只支持适配昇腾AI处理器的混合精度计算和多种融合优化器功能，其他功能暂未支持。融合优化器与原生优化器算法保持一致，但运算速度更快。
• 集合通信约束：
  • 数据并行模式中不同device上执行的图相同。
  • 只支持1/2/4/8P粒度的分配。
  • 只支持int8，int32，float16和float32数据类型。

达芬奇架构

软件架构及Ascend-Pytorch(1.8)安装

在进行Pytorch的安装前需要注意一下几点

1. 已完成CANN开发或运行环境的安装，确保相应os依赖（如python、numpy等）已安装完成。

2. 需确保CMake >= 3.12.0, gcc >= 7.3.0

3. 建议用户直接在安装环境中进行编译。如果在其他环境中编译，需要编译环境和安装环境的OS版本、依赖版本保持一致。

Pytorch安装步骤

1. 安装依赖： pip3 install pyyaml wheel

2. 安装官方torch包：- pip3 install torch==1.8.1+cpu

3. 编译生成pytorch插件的二进制安装包。- git clone =b master https://gitee.com/ascend/pytorch.git- cd pytorch && bash ci/build.sh =python=3.7

4. 安装插件torchnpu包- pip3 install upgrade dist/torchnpu-1.8.1-xxx.whl

5. 安装混合精度模块（可选）- https://gitee.com/ascend/apex

Pytorch模型迁移方式

将基于PyTorch的训练脚本迁移到昇腾AI处理器上进行训练，目前有以下3种方式：自 动迁移（推荐）、工具迁移、手工迁移，且迁移前要保证该脚本能在GPU、CPU上运 行。 ● 自动迁移：在训练脚本中导入脚本转换库，然后拉起脚本执行训练。训练脚本在 运行的同时，会自动将脚本中的CUDA接口替换为昇腾AI处理器支持的NPU接口。 整体过程为边训练边转换。 ● 工具迁移：训练前，通过脚本迁移工具，自动将训练脚本中的CUDA接口替换为昇 腾AI处理器支持的NPU接口，并生成迁移报告（脚本转换日志、不支持算子的列 表、脚本修改记录）。训练时，运行转换后的脚本。整体过程为先转换脚本，再 进行训练。 ● 手工迁移：算法工程师通过对模型的分析、GPU与NPU代码的对比进而对训练脚 本进行修改，以支持在昇腾AI处理器上执行训练。迁移要点如下。 – 定义NPU为训练设备，或将训练脚本中适配GPU的接口切换至适配NPU的接 口。 – 多卡迁移需修改芯片间通信方式为HCCL。

Pytorch模型迁移——手工迁移

Pytorch模型迁移——脚本转换工具迁移

Pytorch模型迁移——自动迁移