【2023 · CANN训练营第一季】应用开发深入讲解笔记

应用开发深入讲解

模型转换基础知识点

当前昇腾AI处理器以及昇腾AI软件栈是没有办法直接拿比如Caffe，TensorFlow等开源框架网络模型来直接进行推理的，想要进行推理则需要做一步模型转换的步骤，将开源框架的网络模型转换成Davinci架构专用的模型。而此处模型转换的步骤就是通过本手册所要介绍的ATC工具完成的。

昇腾张量编译器（Ascend Tensor Compiler，简称ATC）是昇腾CANN架构体系下的模型转换工具：

它可以将开源框架的网络模型（如Caffe、TensorFlow等）以及Ascend IR定义的单算子描述文件转换为昇腾AI处理器支持的离线模型。

模型转换过程中，ATC会进行算子调度优化、权重数据重排、内存使用优化等具体操作，对原始的深度学习模型进行进一步的调优，从而满足部署场景下的高性能需求，使其能够高效执行在昇腾AI处理器上。