- 微信
- 微博
  
  分享文章到微博
- 复制链接
  
  复制链接到剪贴板

搭建MMDeploy的SDK环境并在Rock5a上完成验证

张辉发表于 2023/08/05 10:38:37 2023/08/05

【摘要】搭建MMDeploy的SDK环境并在Rock5a上完成验证

参考 https://github.com/open-mmlab/mmdeploy/blob/main/docs/zh_cn/01-how-to-build/rockchip.md

MMDeploy 支持把模型部署到瑞芯微芯片的Rock5A上。

需要两个过程：

（1）在X86虚拟机上

（1.1）将 PyTorch 模型转换为 RKNN 模型

（1.2）使用交叉编译工具得到设备所需的 SDK 和 bin

（2）在Rock5A上

（2.1）把转好的模型和编好的 SDK、bin，传到设备

（2.2）执行推理

在 https://bbs.huaweicloud.com/blogs/407764 一文中，张小白重零开始进行了模型转换。将Python模型转换为onnx模型，再转换为rknn模型。

下面来试下MMDeploy的SDK。

首先我们来尝试HOST交叉编译

下载 RKNN API 包

cd ~

git clone https://github.com/rockchip-linux/rknpu2

export RKNPU2_DEVICE_DIR=~/rknpu2/runtime/RK3588

准备 gcc 交叉编译工具

cd ~

git clone https://github.com/Caesar-github/gcc-buildroot-9.3.0-2020.03-x86_64_aarch64-rockchip-linux-gnu

export RKNN_TOOL_CHAIN=~/gcc-buildroot-9.3.0-2020.03-x86_64_aarch64-rockchip-linux-gnu

export LD_LIBRARY_PATH=$RKNN_TOOL_CHAIN/lib64:$LD_LIBRARY_PATH

下载 opencv 预编译包

cd ~

git clone https://github.com/opencv/opencv --depth=1 --branch=4.x --recursive

cd opencv mkdir -p build_aarch64 && cd build_aarch64 cmake .. -DCMAKE_INSTALL_PREFIX=install -DCMAKE_TOOLCHAIN_FILE=../platforms/linux/aarch64-gnu.toolchain.cmake \ -DBUILD_PERF_TESTS=OFF -DBUILD_SHARED_LIBS=OFF -DBUILD_TESTS=OFF -DCMAKE_BUILD_TYPE=Release

make -j $(nproc) && make install

export OpenCV_AARCH64_INSTALL_DIR=~/opencv/build_aarch64/install

编译 mmdeploy SDK

cd ~/mmdeploy mkdir -p build && cd build export LD_LIBRARY_PATH=$RKNN_TOOL_CHAIN/lib64:$LD_LIBRARY_PATH

cmake .. \ -DCMAKE_TOOLCHAIN_FILE=../cmake/toolchains/rknpu2-linux-gnu.cmake \ -DMMDEPLOY_BUILD_SDK=ON \ -DMMDEPLOY_TARGET_BACKENDS="rknn" \ -DMMDEPLOY_BUILD_EXAMPLES=ON \ -DOpenCV_DIR=${OpenCV_AARCH64_INSTALL_DIR}/lib/cmake/opencv4

make -j $(nproc) && make install

仔细查看指南：

那不如试试脚本编译：

bash ./tools/scripts/ubuntu_cross_build_rknn.sh rk3588

看来编译的结果在 ./build_rknpu2/install 目录下：

Device执行推理：

切换到rock5a的开发板：

根据指南：

其实是需要将以上三个目录传输到开发板上。

我们直接在ubuntu虚拟机上执行：

cd ~/mmdeploy

cd mmdeploy_models/mmpretrain/

scp -r resnet50 rock@192.168.199.216:/home/rock/resnet50

scp ~/mmpretrain/demo/demo.JPEG rock@192.168.199.216:/home/rock/

cd ~/mmdeploy/build_rknpu2/

scp -r install rock@192.168.199.216:/home/rock/mmdeploy_sdk

切换到开发板：

cd ~/mmdeploy_sdk

export LD_LIBRARY_PATH=$(pwd)/lib:${LD_LIBRARY_PATH}

./bin/image_classification cpu ../resnet50 ../demo.JPEG

看日志， [error] [rknn_net.cpp:174] MMDeploy SDK only supports RKNN-INT8 model

好像sdk认为rknn文件是不是INT8的模型。

我把rknn文件发给群里的老师看了下，他说可能是版本升级后判断有误。

所以等他升级后我们再试验这块吧！

--Day2

今天老师说，代码更新了，可以重试下。

那我们就重试吧。

cd ~

mv mmdeploy mmdeploy.old

git clone https://github.com/open-mmlab/mmdeploy

cd mmdeploy

git submodule update --init --recursive

cd ~/onnxruntime-linux-x64-1.8.1

export ONNXRUNTIME_DIR=~/onnxruntime-linux-x64-1.8.1

export LD_LIBRARY_PATH=$ONNXRUNTIME_DIR/lib:$LD_LIBRARY_PATH

export MMDEPLOY_DIR=~/mmdeploy

cd ${MMDEPLOY_DIR}

编译ONNXRuntime自定义算子

mkdir -p build && cd build

cmake -DCMAKE_CXX_COMPILER=g++-7 -DMMDEPLOY_TARGET_BACKENDS=ort -DONNXRUNTIME_DIR=${ONNXRUNTIME_DIR} ..

make -j$(nproc) && make install

cd ${MMDEPLOY_DIR}

编辑requirements/runtime.txt 去掉onnx

mim install -e .

cd ~/mmpretrain

mim install -e .

cd ${MMDEPLOY_DIR}

mkdir -p mmdeploy_models/mmpretrain/resnet50

编辑 rknn_resnet50.sh文件

python tools/deploy.py \ configs/mmpretrain/classification_rknn-int8_static-224x224.py \ ~/mmpretrain/configs/resnet/resnet50_8xb32_in1k.py \ ~/resnet50_batch256_imagenet_20200708-cfb998bf.pth \ ~/mmpretrain/demo/demo.JPEG \ --work-dir mmdeploy_models/mmpretrain/resnet50 \ --device cpu \ --dump-info

cd ~/mmdeploy

vi configs/_base_/backends/rknn.py 将rv1126改为rk3588

sh ./rknn_resnet50.sh

编辑 ~/mmdeploy/mmdeploy/backend/rknn/onnx2rknn.py 文件，只留下model参数，其他去掉：

重新执行：sh ./rknn_resnet50.sh

cd ~/mmdeploy/mmdeploy_models/mmpretrain/resnet50

rknn模型文件已生成。

cd ~/mmdeploy/

bash ./tools/scripts/ubuntu_cross_build_rknn.sh rk3588

编译的结果在 ./build_rknpu2/install 目录下：

切换到rock5a的开发板：

mv mmdeploy_sdk mmdeploy_sdk.old

mv resnet50 resnet50.old

切换回ubuntu虚拟机：

cd ~/mmdeploy

cd mmdeploy_models/mmpretrain/

scp -r resnet50 rock@192.168.2.216:/home/rock/resnet50

cd ~/mmdeploy/build_rknpu2/

scp -r install rock@192.168.2.216:/home/rock/mmdeploy_sdk

切换到开发板：

cd ~/mmdeploy_sdk

export LD_LIBRARY_PATH=$(pwd)/lib:${LD_LIBRARY_PATH}

./bin/image_classification cpu ../resnet50 ../demo.JPEG

错误还是一样。。。55555

又问了下老师，说代码还未合入，需要从老师的pr中找到代码。

于是找到老师的代码：

主要是这一段，我们回到虚拟机：

vi mmdeploy/csrc/mmdeploy/net/rknn/rknn_net.cpp

到170行左右，将原有的代码替换成上面那段。

if (!(attr.type == RKNN_TENSOR_UINT8 || attr.type == RKNN_TENSOR_INT8)) { MMDEPLOY_ERROR("MMDeploy SDK only supports RKNN-INT8 model"); return Status(eInvalidArgument); }

重新编译SDK：

bash ./tools/scripts/ubuntu_cross_build_rknn.sh rk3588

可以看到更新的代码已被编译：

这次仅需要拷贝 install的目录：

登陆到rock5a，重新执行device端推理：

cd ~/mmdeploy_sdk

export LD_LIBRARY_PATH=$(pwd)/lib:${LD_LIBRARY_PATH}

./bin/image_classification cpu ../resnet50 ../demo.JPEG

终于成功执行了SDK。

label: 65, score: 0.9590

结果跟预计的一致。

我们再来试一下别的模型。

检测模型mmdet：

cd ~/mmdeploy

修改 vi ./configs/mmdet/detection/detection_rknn-int8_static-320x320.py 文件：

打开这段注释：

pip install mmdet

cd ~

git clone https://github.com/open-mmlab/mmdetection

wget https://download.openmmlab.com/mmdetection/v2.0/yolo/yolov3_mobilenetv2_320_300e_coco/yolov3_mobilenetv2_320_300e_coco_20210719_215349-d18dff72.pth --no-check-certificate

cd ~/mmdeploy

mkdir -p mmdeploy_models/mmdet/yolov3

vi rknn_yolov3.sh

python tools/deploy.py \ configs/mmdet/detection/detection_rknn-int8_static-320x320.py \ ~/mmdetection/configs/yolo/yolov3_mobilenetv2_8xb24-320-300e_coco.py \ ~/yolov3_mobilenetv2_320_300e_coco_20210719_215349-d18dff72.pth \ ~/mmdetection/demo/demo.jpg \ --work-dir mmdeploy_models/mmdet/yolov3 \ --device cpu \ --dump-info

sh ./rknn_yolov3.sh