【2023CANN训练营第二季】——Ascend C自定义算子工程介绍及实验

一、自定义算子工程介绍与创建

自定义算子工程是一个包含用户编写的host侧和kerne|侧算子实现文件的，用于编译和安装自定义算子run包的工程框架。

CANN软件包中提供了工程创建工具msopgen，开发者可以输入算子原型定义文件生成Ascend C算子开发工程。
需要编写AddCustom算子的原型定义json文件以及运行以下代码

${INSTALL_DIR}/python/site-packages/bin/msopgen gen -i $HOME/sample/add_custom.json -c ai_core-<soc_version> -lan cpp -out $HOME/sample/AddCustom

其中对这些命令进行解释：
${INSTALL_DIR}为CANN软件安装后文件存储路径，根据实际环境进行替换。
-i：指定算子原型定义文件add_custom.json所在路径，请根据实际情况修改。
-c：ai_core-<soc_version>代表算子在AI Core上执行，<soc_version>为昇腾AI处理器的型号。比如我的AI处理器型号为910B，那么我这里写Ascend910B。
-lan： 参数cpp代表算子基于Ascend C编程框架，使用C++编程语言开发。
-out：生成文件所在路径，可配置为绝对路径或者相对路径，并且工具执行用户对路径具有可读写权限。若不配置，则默认生成在执行命令的当前路径。

使用msopgen工具生成AddCustom算子的开发命令之后，会在$HOME/sample目录下生成算子工程目录AddCustom，工程中包含算子实现的模板文件，编译脚本等，如下所示：

AddCustom
├── build.sh         // 编译入口脚本
├── cmake 
│   ├── config.cmake
│   ├── util        // 算子工程编译所需脚本及公共编译文件存放目录
├── CMakeLists.txt   // 算子工程的CMakeLists.txt
├── CMakePresets.json // 编译配置项
├── framework        // 算子插件实现文件目录，单算子模型文件的生成不依赖算子适配插件，无需关注
├── op_host                      // host侧实现文件
│   ├── add_custom_tiling.h    // 算子tiling定义文件
│   ├── add_custom.cpp         // 算子原型注册、shape推导、信息库、tiling实现等内容文件
│   ├── CMakeLists.txt
├── op_kernel                   // kernel侧实现文件
│   ├── CMakeLists.txt   
│   ├── add_custom.cpp        // 算子核函数实现文件 
├── scripts                     // 自定义算子工程打包相关脚本所在目录

二、自定义算子工程样例演示

我是在ModelArts环境下创建了一个notebook,镜像为：

创建好之后，进入终端，下载samples代码仓库：
进入到op_dev目录，这个目录就是一个自定义算子交付目录

cd samples/cplusplus/level1_single_api/4_op_dev/6_ascendc_custom_op/acl_invocation/op_dev

然后通过msopgen这个工具生成，生成之前可以运行以下命令，看看自己的AI处理器型号：
npu-smi info
我的结果如下,Ascend910B:

然后接着，你要找到${INSTALL_DIR}这个位置，也就是CANN软件安装后文件存储路径，我的为:/usr/local/Ascend/ascend-toolkit/7.0.RC1，默认是路径可能都是这个，

接着就可以运行msopgen命令:

/usr/local/Ascend/ascend-toolkit/7.0.RC1/python/site-packages/bin/msopgen gen -i add_custom.json -c ai_core-Ascend910B2 -lan cpp -out ./custom_opp

显示生成完成：

可以看到新生成的custom_opp文件夹里生成了以下文件：

我们主要关注CMakePresets.json里面“ASCEND_CANN_PACKAGE_PATH”是否和你安装的CANN路径对应，一般默认都是对应的。

下面进行自定义算子工程编译：

./build.sh

报错：

显示没有这个头文件：register/tilingdata_base.h

设置环境变量 ASCEND_TENSOR_COMPILER_INCLUDE：

export ASCEND_TENSOR_COMPILER_INCLUDE=/usr/local/Ascend/ascend-toolkit/7.0.RC1/aarch64-linux/include

然后执行./build.sh

编译部署成功：

在build_out文件夹下可以看到已经生成了run包

接下来部署自定义算子包：

./custom_opp_euleros_aarch64.run

看到SUCCESS说明部署成功!

以上就是Ascend C自定义算子工程的演示。