【2023 · CANN训练营第一季】应用开发深入讲解 笔记
【摘要】 【2023 · CANN训练营第一季】应用开发深入讲解 笔记模型转换工具模型推理时，需要先将开源框架的网络模型（如Onnx、TensorFlow等），转换成昇腾AI处理器支持的离线模型。这就需要使用到CANN提供的ATC工具。命令：atc --framework=3 --soc_version=${soc_version}--model=$HOME/module/resnet50_tenso...
【2023 · CANN训练营第一季】应用开发深入讲解 笔记
模型转换工具
模型推理时，需要先将开源框架的网络模型（如Onnx、TensorFlow等），转换成昇腾AI处理器支持的离线模型。这就需要使用到CANN提供的ATC工具。
命令：atc --framework=3 --soc_version=${soc_version}
--model=$HOME/module/resnet50_tensorflow.pb -output=$HOME/module/out/tf_resnet50
ATC工具进行模型转换的运行流程如下图所示
1、使用ATC工具之前，请先1.在开发环境安装ATC软件包获取相关路径下的ATC工具详细说明请参见获取ATC工具。
2、准备要进行转换的模型或单算子描述文件，并上传到开发环境。
3、使用ATC工具进行模型转换，在配置相关参数时，根据实际情况选择是否进行AIPP配置。
模型离线推理总体说明
模型离线推理主要是使用已经转好的om对输入图片进行推理，主要步骤如下图所示：
各步骤解析如下：
•Host&Device内存管理与数据传输：Host&Device上的内存申请与释放，内存间的相互拷贝；
•模型加载：将离线的om文件加载到Device上；在样例的资源初始化模块中进行。
•模型输入输出准备：根据离线om的输入输出，在Device上申请好模型的输入输出内存；在样例的资源初始化模块中进行。
•执行推理：当模型的输入内存获取到有效数据后，便可以调用AscendCL接口执行模型推理，推理完成后结果生成到输出内存中；在样例的模型推理模块中进行。•输出解析：使用AscendCL接口，将模型输出数据从特定格式中解析出来；在输出数据处理模块中进行。 下面将按步骤进行说明。
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
评论（0）