【2023 · CANN训练营第一季】应用开发深入讲解 笔记

【2023 · CANN训练营第一季】应用开发深入讲解 笔记

模型转换工具

模型推理时，需要先将开源框架的网络模型（如Onnx、TensorFlow等），转换成昇腾AI处理器支持的离线模型。这就需要使用到CANN提供的ATC工具。

命令：atc --framework=3 --soc_version=${soc_version}

--model=$HOME/module/resnet50_tensorflow.pb -output=$HOME/module/out/tf_resnet50

ATC工具进行模型转换的运行流程如下图所示

1、使用ATC工具之前，请先1.在开发环境安装ATC软件包获取相关路径下的ATC工具详细说明请参见获取ATC工具。

2、准备要进行转换的模型或单算子描述文件，并上传到开发环境。

3、使用ATC工具进行模型转换，在配置相关参数时，根据实际情况选择是否进行AIPP配置。

模型离线推理总体说明

模型离线推理主要是使用已经转好的om对输入图片进行推理，主要步骤如下图所示：

各步骤解析如下：

•Host&Device内存管理与数据传输：Host&Device上的内存申请与释放，内存间的相互拷贝；

•模型加载：将离线的om文件加载到Device上；在样例的资源初始化模块中进行。

•模型输入输出准备：根据离线om的输入输出，在Device上申请好模型的输入输出内存；在样例的资源初始化模块中进行。

•执行推理：当模型的输入内存获取到有效数据后，便可以调用AscendCL接口执行模型推理，推理完成后结果生成到输出内存中；在样例的模型推理模块中进行。•输出解析：使用AscendCL接口，将模型输出数据从特定格式中解析出来；在输出数据处理模块中进行。 下面将按步骤进行说明。