【2023 · CANN训练营第一季】——Ascend C算子沙箱实验

前言：CANN 训练营的Ascend C算子课程，以在线课程的方式提供了一个沙箱实验环境。这将有助于帮助开发者了解Ascend C算子开发的软、硬件环境；熟悉自定义Ascend C算子的开发流程和关键代码；同时也可以了解到自定义算子包的实际部署情况。

在线试验地址：在线实验>基于昇腾CANN的Ascend C算子开发

https://www.hiascend.com/zh/edu/experiment/operation/Tik_xl

配套课程地址：CANN训练营2023年第一季_TIK C++算子开发入门

https://www.hiascend.com/zh/developer/courses/detail/1627494761683783682

一、系统环境

1、硬件芯片：昇腾910A

2、CANN版本

3、算子开发包

二、算子实现分析

        沙箱实验，实现的是动态shape的add的Ascend C算子。

一）配置环境

二）下载代码包

样例工程关键目录和文件的用途如下所示：

三）代码分析及补全

1、kernel侧代码

        实现代码在算子工程的/ai_core/op_kernel/add_tik2.cpp中。

        1）算子类——init（）

        2）算子类——process（）及3个基本任务CopyIn，Compute，CopyOut

        基于矢量编程范式，将核函数的实现分为3个基本任务：CopyIn，Compute，CopyOut。Process函数中通过如下方式调用这三个函数。

        CopyIn：使用DataCopy接口将GlobalTensor数据拷贝到LocalTensor；使用EnQue将LocalTensor放入VecIn的Queue中。

        Compute：使用DeQue从VecIn中取出LocalTensor；使用Ascend C算子接口Add（2级接口）完成矢量计算；使用EnQue将计算结果LocalTensor放入到VecOut的Queue中。

        CopyOut：使用DeQue接口从VecOut的Queue中取出LocalTensor；使用DataCopy接口将LocalTensor拷贝到GlobalTensor上。

2、host侧代码

        host侧算子实现开发，包括算子原型注册、Shape推导等函数实现与注册、Tiling实现与注册和信息库配置。实现代码在算子工程的/ai_core/op_host/add_tik2.cpp中。

        1）算子原型注册：

        2）Shape推导等函数实现与注册：

        3）Tiling实现与注册：

        4）信息库配置及算子注册：

四）UT测试

        UT的本质是使用内核调用符测试CPU模式下的Ascend C算子的用例，在算子工程UT测试目录下的add_tik2_ut.cc文件，增加CPU侧算子调用代码如下：

        运行指令：

            cd $HOME/cann_op_contrib/ ./build.sh -u tikcpp

        运行结果：

五）编译部署

1、算子包打包

        进入cann_op_contrib算子工程目录，执行算子包打包脚本，命令如下：

        cd $HOME/cann_op_contrib/

        ./pack.sh

        打包成功后，会在当前目录下创建output目录，并在output目录下生成自定义算子安装包CANN_OP_CONTRIB_linux-aarch64.run。

2. 自定义算子安装包部署

        以运行用户执行如下命令，安装自定义算子包。

        cd $HOME/cann_op_contrib/output

        ./CANN_OP_CONTRIB_linux-aarch64.run --install

        命令执行成功后，自定义算子包中的相关文件会部署当前环境中。默认安装路径是tool-kit的“opp/vendors/”目录下，沙箱中的路径为：

/usr/local/Ascend/ascend-toolkit/latest/opp/vendors

        目录结构与自定义TBE算子基本一致，在算子实现代码部分，多了cpp格式的实现代码。

六）ST测试

        ST的本质是创建ACL应用程序测试NPU模式下的Ascend C算子用例，将开发好的算子，编译好后，打包成自定义算子包，部署到系统中。

        通过msopst工具，将用户定义的ST测试配置的*.json生成单算子的om文件，使用AscendCL接口加载单算子模型文件并执行单算子om文件，验证算子执行结果的正确性。

1、在算子工程ST测试目录下的add_tik2.json增加测试用例

2、配置ST测试用例编译所需环境变量

    ST测试的实质是，使用AscendCL接口加载单算子模型文件并执行，所以生成并编译ST测试用例前需要配置AscendCL应用编译所需的环境变量，如下所示：

export DDK_PATH=/usr/local/Ascend/ascend-toolkit/latest

export NPU_HOST_LIB=/usr/local/Ascend/ascend-toolkit/latest/runtime/lib64/stub

3、使用msopst工具，生成并执行ST测试用例

cd /usr/local/Ascend/ascend-toolkit/latest/python/site-packages/bin/

./msopst run -i $HOME/cann_op_contrib/community/tests/add_tik2/st/add_tik2.json -soc Ascend910A -out $HOME/out

执行结果：