ModelBox开发案例 - 疲劳驾驶检测
ModelBox开发案例 - 疲劳驾驶检测
本案例将使用开源项目中的Face Detect与Face Mesh两个模型，实现一个简单的疲劳驾驶检测应用并提醒，最终效果如下所示：
案例所需资源（代码、模型、测试数据等）均可从obs桶下载。
开发背景
“道路千万条，安全第一条”，交通安全是我们出行首要关注的问题，而疲劳驾驶一直是引发交通事故的一个主要原因。
在AI算法惠及生活的现在，我们想利用ModelBox开发板快速实现、便利调试开发的特点，实现一个疲劳驾驶提醒应用案例demo，实现基本的疲劳驾驶检测与辅助提醒效果。希望大家能从此案例得到启发与参考，开发出更多丰富、有趣的应用。
算法原理
该项目主要原理为：通过面部检测模块定位出面部区域，将其输入到面部关键点模块检测出面部关键点，并对其中的眼睛、嘴巴等关键点计算其EAR值与时长判断其是否处于疲劳状态并进行提醒。
从摄像头检测出面部区域
从面部检测出关键点
通过公式计算出EAR值，并根据实时滑动窗口计算占比，超过阈值则判断为疲劳应该对其进行提醒
ModelBox介绍
ModelBox是一个适用于端边云场景的AI推理应用开发框架，提供了基于Pipeline的并行执行流程，能帮助AI应用开发者较快的开发出高效，高性能，以及支持软硬协同优化的AI应用。
易于开发
AI推理业务可视化编排开发，功能模块化，丰富组件库；c++，python多语言支持。
易于集成
集成云上对接的组件，云上对接更容易。
高性能，高可靠
pipeline并发运行，数据计算智能调度，资源管理调度精细化，业务运行更高效。
软硬件异构
CPU，GPU，NPU多异构硬件支持，资源利用更便捷高效。
全场景
视频，语音，文本，NLP全场景，专为服务化定制，云上集成更容易，端边云数据无缝交换。
易于维护
服务运行状态可视化，应用，组件性能实时监控，优化更容易。
模型训练
我们可以使用面向开发者的一站式AI开发平台ModelArts进行模型的训练:
ModelArts提供了包括数据标注，训练环境，预置算法在内的丰富的功能，甚至可以通过订阅预置算法实现零代码的模型训练工作。当然你也可以在本地训练自己的模型。我们假设你现在已经拥有了训练好的模型，接下来我们需要将训练好的模型转换成为可以在开发板上运行的模型。本案例可以直接用预训练好的模型进行初期应用的搭建即可。
模型转换
我们发布了开发板模型转换案例，参见RK3568模型转换验证案例 :
在这个案例中我们演示了从环境适配到模型的转换验证的全流程样例代码，开发者可以通过“Run in ModelArts”一键将Notebook案例在ModelArts控制台快速打开、运行以及进行二次开发等操作。
开发环境部署
使用开发板进行ModelBox AI应用开发有两种方式，一是开发板连接显示器和键盘鼠标，安装Ubuntu桌面，直接在开发板上进行开发；二是使用远程连接工具（如VS Code中的Remote-SSH）从PC端登录开发板进行开发。这里我们推荐第二种方式，因为PC端可以使用功能更丰富、界面更友好的IDE。
请参考此案例的开发环境部署先进行环境搭建：
应用开发
接下来我们会以疲劳驾驶检测demo为例，介绍如何使用ModelBox开发AI应用。
1.创建工程
SDK提供了工程脚本create.py，可以使用./create.py -h查看脚本帮助：
rock@rock-3a:~/yourpath/v1.0.8.21$ sudo ./create.py -h
Usage: Create ModelBox project and flowunit
NOTE : you must firstly use bellow cmd to create a project in workspace
create.py -t server -n your_proj_name {option: -s name, create this project from a solution}, support hilens deployment
or create.py -t project -n your_proj_name {option: -s name, create this project from a solution}, generally not use
AND : use bellow cmd to create [c++|python|infer] flowunit in this project
create.py -t c++ -n your_flowunit_name -p your_proj_name
AND : call workspace/your_proj_name/build_project.sh to build your project, call bin/main.sh[bat] to run
FINAL: create.py -t rpm -n your_proj_name to package your project (the same folder with create.py) if upload to hilens
NOTE: create.py -t editor {option: -i ip or ip:port to start editor server in your config ip:port}
NOTE: create.py -t demo to create solutions to runnable demo
for ex: create.py -t server -n my_det -s car_det
-h or --help：show help
-t or --template [c++|python|infer|yolo|project|server|rpm|editor|demo] create a template or package to rpm ...
-n or --name [your template name]
-p or --project [your project name when create c++|python|infer|yolo]
-s or --solution [the solution name when create project] create a project from solution
-c or --cfg [flowunit configure json, it's used by UI, you can use it too, but too complicated]
-v or --version：show sdk version
ModelBox提供了可视化图编排工具：Editor，可以使用./create.py -t editor开启图编排服务：
服务默认ip即为192.168.2.111，如需配置其他ip或端口，可以通过-i ip:port参数进行配置。
在浏览器输入ip:port/editor即可进入可视化编辑界面，我们点击编排进入工程开发界面，如果进一步了解ModelBox相关内容，可以点击右上角帮助：
进入编排界面，点击右上角新建项目：
我们在workspace的项目路径下，建立项目名称fatigue_detect，点击确认：
从默认的模板中可以看到，我们初始具备了一个http收发单元的默认图：
其中，区域1为SDK预置的高性能通用流单元，区域2为可视化编排界面，区域3为对应的图配置文件内容。同时，VS Code对应目录下也出现了fatigue_detect项目：
2.创建推理功能流单元
接下来，我们通过UI界面创建推理流单元：
点击右上角功能单元，创建单元
对于面部检测模型，我们将流单元命名为face_detection，模型文件名即为转换好的检测模型名：face_detect.rknn，此模型输入为图像，输出为特征向量，所以我们添加int类型的输入端口与float类型的输出端口。关于开发板的推理流单元创建，在处理类型时我们选择cuda，即为npu推理，推理引擎可选任意一款，目前开发板SDK可以自动进行识别转换。最后将功能单元分组修改为inference，点击确认，即可看到，在左侧inference页签下出现了新添加的推理流单元
同时，在VS Code工程model目录下可以看到创建好的推理流单元：
类似的，我们创建face_landmark_detection推理流单元：
3.创建后处理功能单元
除了推理流单元外，疲劳驾驶检测demo还需要一些通用功能单元：面部检测的后处理单元、感兴趣区域（面部检测区域）提取单元、疲劳逻辑判断单元，我们新建三个python功能单元来满足上述需求。
对于面部检测的后处理单元，我们希望通过原图和face_detection的两个输出向量解码出面部检测框，所以该单元应该有三个输入。此外，对于画幅中有无检测到面部两种状态，我们希望该功能单元分情况处理，检测到面部时，将面部检测结果送入感兴趣区域提取单元，没有检测到面部时，直接返回，因此功能单元类型选择：IF_ELSE。新建单元如下：
同样的，根据输入输出与功能单元状态，我们创建extract_roi和fatigue_detect两个功能单元：
4.流程图编排
拖拽
需要的功能单元全部创建好后，我们可以着手编排流程图，我们编排一个视频处理的图，可以删除不需要的http收发单元：
在Generic列表下将虚拟输入单元input和我们刚刚创建的三个功能单元拖入画布：
在Image列表下将模型推理需要用到的预处理单元resize拖入画布，因为面部检测模型与面部关键点模型都resize处理，把两个resize单元拖入：
值得注意的是，resize单元需要适配模型参数，需要点击该单元进行配置：
在Input列表下拖入输入解析单元data_source_parser作为视频流的输入源
在Video列表下拖入视频处理需要的单元video_demuxer、video_decoder、video_out：
最后，在Inference列表下拖入我们创建的两个推理单元：
编排
将功能单元按照处理逻辑进行连接：
点击上个流单元并拖动箭头可以连接下一个流单元
虚拟输入input连接输入解析data_source_parser，解析后送入视频解包video_demuxer与解码单元video_decoder：
解码输出送入预处理后可直接进行推理，面部检测输出连接后处理模块，用于提取坐标输入到感兴趣区域，若没检测到面部则跳过面部关键点检测与疲劳驾驶判断：
最后，把ROI区域图resize后输入到面部关键点检测，最后把面部关键点输入到疲劳驾驶判断模块给出结果：
这样，我们就完成了流程图的编排，可以看到在GraphViz区域也出现了完整的图表述：
保存项目，我们转到VS Code每个单元的代码实现进行调整与补充：
5.代码补全
可视化编排中，创建的推理单元位于项目的model目录下，通用单元位于etc/flowunit目录下，流程图位于graph目录下，可以看到创建的单元与图都已同步过来：
其中，我们需要在主流图代码里修改video_decoder需要指定类型：
video_decoder [ type=flowunit flowunit=video_decoder device=rknpu deviceid="0" pix_fmt=bgr label="{{<in_video_packet> in_video_packet}|video_decoder|{<out_video_frame> out_video_frame}}" ]
推理单元
首先完善推理单元，对于推理功能单元，只需要提供独立的toml配置文件，指定推理功能单元的基本属性即可，目录结构为：
[flowunit-name]
|---[flowunit-name].toml #推理功能单元配置
|---[model].rknn #模型文件
|---[infer-plugin].so #推理自定义插件
ModelBox框架在初始化时，会扫描目录中的toml后缀的文件，并读取相关的推理功能单元信息。[infer-plugin].so是推理所需插件，推理功能单元支持加载自定义插件，开发者可以实现自定义算子。
将模型拷入对应文件夹，以face_detection为例我们看一下推理功能单元配置文件：
因为推理单元输入为图像，注意修改其输入类型为uint8
配置文件中有一些单元类型、模型名称、输入输出的基本配置，可以酌情修改。
通用单元
Python通用单元需要提供独立的toml配置文件，指定python功能单元的基本属性。一般情况，目录结构为：
[FlowUnitName]
|---[FlowUnitName].toml
|---[FlowUnitName].py
|---xxx.py
相较于推理单元而言，通用单元不但有配置文件，还需要完善具体的功能代码，以face_detect_post为例，首先是功能单元配置文件：
Basic config是一些单元名等基本配置，Flowunit Type是功能单元类型，face_detect_post是一个条件单元，所以可以看到condition为true，此外还有一些展开、归拢等性质，可以在AI Gallery ModelBox)板块下看到更多案例。此外，输入输出type根据实际逻辑可能进行一些修改。
接下来，我们查看face_detect_post.py，可以看到创建单元时已经生成了基本接口：
# Copyright (c) Huawei Technologies Co., Ltd. 2022. All rights reserved.
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import _flowunit as modelbox
class face_detect_postFlowUnit(modelbox.FlowUnit):
# Derived from modelbox.FlowUnit
def __init__(self):
super().__init__()
def open(self, config):
# Open the flowunit to obtain configuration information
return modelbox.Status.StatusCode.STATUS_SUCCESS
def process(self, data_context):
# Process the data
in_data = data_context.input("in_1")
out_data = data_context.output("out_1")
# yolox_post process code.
# Remove the following code and add your own code here.
for buffer in in_data:
response = "Hello World " + buffer.as_object()
result = response.encode('utf-8').strip()
add_buffer = modelbox.Buffer(self.get_bind_device(), result)
out_data.push_back(add_buffer)
return modelbox.Status.StatusCode.STATUS_SUCCESS
def close(self):
# Close the flowunit
return modelbox.Status()
def data_pre(self, data_context):
# Before streaming data starts
return modelbox.Status()
def data_post(self, data_context):
# After streaming data ends
return modelbox.Status()
def data_group_pre(self, data_context):
# Before all streaming data starts
return modelbox.Status()
def data_group_post(self, data_context):
# After all streaming data ends
return modelbox.Status()
如果功能单元的工作模式是stream = false时，功能单元会调用open、process、close接口；如果功能单元的工作模式是stream = true时，功能单元会调用open、data_group_pre、data_pre、process、data_post、data_group_post、close接口；用户可根据实际需求实现对应接口。
根据单元性质，我们主要需要完善open、process接口：
def process(self, data_context):
# Process the data
in_image = data_context.input("image")
in_feat = data_context.input("in_feat")
in_score = data_context.input("in_score")
has_face = data_context.output("has_face")
no_face = data_context.output("no_face")
# face_detect_post process code.
# Remove the following code and add your own code here.
for buffer_img, buffer_feat, buffer_score in zip(in_image, in_feat, in_score):
width = buffer_img.get('width')
height = buffer_img.get('height')
channel = buffer_img.get('channel')
img_data = np.array(buffer_img.as_object(), copy=False)
img_data = img_data.reshape((height, width, channel))
feat_data = np.array(buffer_feat.as_object(), copy=False)
feat_data = feat_data.reshape(896,16)
feat_score = np.array(buffer_score.as_object(), copy=False)
feat_score = feat_score.reshape(896,1)
dets = process_cpu(feat_data, feat_score, self.anchors)
if dets.shape[0] > 0:
box = [int(dets[0]*width), int(dets[1]*height),int(dets[2]*width),int(dets[3]*height)]
box = self.expend(box, height, width)
buffer_img.set("bboxes", box)
has_face.push_back(buffer_img)
else:
img_buffer = modelbox.Buffer(self.get_bind_device(), img_data)
img_buffer.copy_meta(buffer_img)
no_face.push_back(img_buffer)
return modelbox.Status.StatusCode.STATUS_SUCCESS
可以看到，在open中我们进行了一些参数获取，process进行逻辑处理，输入输出可以通过data_context来获取，值得注意的是输出时我们返回的是图，在检测到手时为图附加了检测框信息，该信息可以被下一单元获取。
同样的，完善其余通用功能单元，具体可以参考我们提供的代码。
应用运行
我们需要准备一个mp4文件拷贝到data文件夹下，我们提供了测试视频fatigue.mp4，然后打开工程目录下bin/mock_task.toml文件，修改其中的任务输入和任务输出配置为如下内容：
# 用于本地mock文件读取任务，脚本中已经配置了IVA_SVC_CONFIG环境变量, 添加了此文件路径
########### 请确定使用linux的路径类型，比如在windows上要用 D:/xxx/xxx 不能用D:\xxx\xxx ###########
# 任务的参数为一个压缩并转义后的json字符串
# 直接写需要转义双引号， 也可以用 content_file 添加一个json文件，如果content和content_file都存在content会被覆盖
# content_file支持绝对路径或者相对路径，不支持解析环境变量(包括${HILENS_APP_ROOT}、${HILENS_DATA_DIR}等)
[common]
content = "{\"param_str\":\"string param\",\"param_int\":10,\"param_float\":10.5}"
# 任务输入,mock模拟目前仅支持一路rtsp或者本地url
# rtsp摄像头，type = "rtsp", url里面写入rtsp地址
# 其它用"url"，比如可以是本地文件地址, 或者httpserver的地址，(摄像头 url = "0")
[input]
type = "url"
url = "../data/fatigue.mp4"
# 任务输出,目前仅支持"webhook", 和本地输出"local"(输出到屏幕,url="0", 输出到rtsp，填写rtsp地址)
# (local 还可以输出到本地文件，这个时候注意，文件可以是相对路径，是相对这个mock_task.toml文件本身)
[output]
type = "local"
url = "../hilens_data_dir/fatigue.mp4"
配置好后在工程路径下执行build_project.sh进行工程构建：
rock@rock-3a:~/yourpath/v1.0.8.21/workspace/fatigue_detect$ sudo ./build_project.sh
./build_project.sh: line 26: dos2unix: command not found
./build_project.sh: line 26: dos2unix: command not found
./build_project.sh: line 26: dos2unix: command not found
./build_project.sh: line 26: dos2unix: command not found
./build_project.sh: line 26: dos2unix: command not found
./build_project.sh: line 26: dos2unix: command not found
./build_project.sh: line 26: dos2unix: command not found
./build_project.sh: line 26: dos2unix: command not found
build success: you can run main.sh in ./bin folder
构建完成后运行项目：
rock@rock-3a:~/yourpath/v1.0.8.21/workspace/fatigue_detect$ sudo ./bin/main.sh
等待稍许即可以在hilens_data_dir文件夹下看到运行结果：
打开mp4文件也可以看到叠加了提醒效果的视频
- 点赞
- 收藏
- 关注作者
评论（0）