云社区 博客 博客详情
云社区 博客 博客详情

【华为云-上云之路】【2020华为云AI实战营】基于Atlas 200 DK的原版YOLOv3(Darknet-53)实现

Tianyi_Li 发表于 2020-05-29 12:05:04 05-29 12:05
Tianyi_Li 发表于 2020-05-29 12:05:04 2020/05/29
7
3

【摘要】 基于Atlas 200 DK的原版YOLOv3(Darknet-53)实现(Python版本),这里提供完整的工程,包括转化好的模型,只要你有Atlas 200 DK即可运行。YOLOv3可以算作是经典网络了,较好实现了速度和精度的Trade off,成为和目标检测的首选网络,堪称是史诗巨作级别(我是这么认为的)。YOLOv3是在YOLOv1和YOLOv2的基础上,改进而来。

前言

YOLOv3可以算作是经典网络了,较好实现了速度和精度的Trade off,成为和目标检测的首选网络,堪称是史诗巨作级别(我是这么认为的)。YOLOv3是在YOLOv1和YOLOv2的基础上,改进而来,如果希望深入了解,建议看看前两个版本,这里附上网络上比较好的分析博文:

YOLOv1   https://blog.csdn.net/litt1e/article/details/88814417

YOLOv2   https://blog.csdn.net/litt1e/article/details/88852745

对于今天的主角YOLOv3,强烈建议看看作者的原版论文,像是一篇报告,篇幅很短,写的十分风趣幽默,是论文届一股清流啊。附上论文链接:

论文地址:https://pjreddie.com/media/files/papers/YOLOv3.pdf
论文:YOLOv3: An Incremental Improvement


环境要求:

1. 华为Atlas 系列产品——Atlas 200 DK

2. 配置好的虚拟机,可连接Atlas 200 DK


这里提供完整的工程,包括转化好的模型,只要你有Atlas 200 DK即可运行。


介绍

好了,下面该今天的主角登场了——YOLOv3,先看看结构图,来个直观的了解:


是的,没错,这张图是我在博客上看到的,附博客链接:https://blog.csdn.net/leviopku/article/details/82660381,这篇博客解析了YOLOv3,写的不错,大家可以看看。在博客中,作者总结了YOLOv3的特点,如下:


YOLO_v3作为YOLO系列目前最新的算法(截止发此文时),对之前的算法既有保留又有改进。先分析一下YOLOv3上保留的东西:

1. 分而治之”,从yolo_v1开始,yolo算法就是通过划分单元格来做检测,只是划分的数量不一样。

2. 采用"leaky ReLU"作为激活函数。

3. 端到端进行训练。一个loss function搞定训练,只需关注输入端和输出端。

4. 从yolo_v2开始,yolo就用batch normalization作为正则化、加速收敛和避免过拟合的方法,把BN层和leaky relu层接到每一层卷积层之后。

5. 多尺度训练。在速度和准确率之间tradeoff。想速度快点,可以牺牲准确率;想准确率高点儿,可以牺牲一点速度。

YOLO系列的提升很大一部分决定于backbone网络的提升,从v2的darknet-19到v3的darknet-53。yolo_v3还提供替换backbone——tiny darknet。要想性能牛叉,backbone可以用Darknet-53,要想轻量高速,可以用tiny-darknet。

总之,YOLO就是天生“灵活”,所以特别适合作为工程算法。这里要说明的是,leaky ReLU在Ascend 310上适配不是很好,可能只有TensorFlow1.12版本可以用,大家注意,如果使用TensorFlow版本模型去转化为.om模型,建议使用TensorFlow 1.12版本,据说适配比较好哦。


整体流程

整体例程和PC端类似,分为数据输入,预处理,送入模型推理,推理结果解析四部分。这里是基于我以前发的另一个工程修改的,你可以在本工程看到原来工程的痕迹哦,附上原工程链接:https://bbs.huaweicloud.com/blogs/170452,在原工程上修改,这样可以提高效率,比如创建Graph等操作都直接就行了,建议大家也可以参考,在实现自己工程时,最好在官方例程或现有能运行代码上修改,这样比较快,也更容易成功。

  1. 模型获取和转换。

    先来看看模型转化,模型使用的是基于COCO数据集训练的TensorFlow版本的YOLOv3模型。



模型来自https://github.com/wizyoung/YOLOv3_TensorFlow/releases/ 里面的yolo_tf_weights.zip可自行下载,不过不下载也没事,这里提供了完成的代码,只要你有Atlas 200 DK即可运行。下载后按照帖子转换完成,得到.pb模型。帖子链接:https://bbs.huaweicloud.com/forum/thread-45383-1-1.html

下面是模型转化,通过Netron可以看到模型输入节点为Placeholder 输入为1, 416,416,3。这表示模型输入为一张图片,图片为416*416大小,3通道,也就是我们常用的RGB格式。




这里我们输入的是视频,使用OpenCV读取的视频,得到视频帧,对每一视频帧进行逐帧处理,注意OpenCV得到的帧是BGR格式,需要转为RGB格式,而且视频帧大小不一定符合模型输入要求的416*416, 所以还要做resize。我在模型转化时,开启AIPP,完成BGR到RGB的色域转换,这样可以提高硬件利用率和程序整体执行效率,官方也建议使用AIPP的,而resize使用OpenCV来完成。之后送入模型,得到推理结果,对推理结果解析,最终将结果写入图片保存。


主要代码

主代码 main.py

# -*- coding: utf-8 -*-
# !/usr/bin/python3
# Author: Tianyi_Li
# Last Date: 2020/5/29
# YOLOv3_COCO,基于COCO数据集训练的TensorFlow版本,检测80种类别的物体。
# 主函数部分

import sys
import re
import cv2
import yolo3_resnet18_inference
import time
import datetime


# Get Video
lenofUrl = len(sys.argv)

# The number of parameters is incorrect.
if lenofUrl <= 1:
    print("[ERROR] Please input mp4/Rtsp URL")
    sys.exit()
elif lenofUrl >= 3:
    print("[ERROR] param input Error")
    sys.exit()

URL = sys.argv[1]

# match Input parameter format
URL1 = re.match('rtsp://', URL)
URL2 = re.search('.mp4', URL)


# Determine if it is a mp4 video based on matching rules
if URL1 is None:
    if URL2 is None:
        print("[ERROR] should input correct URL")
        sys.exit()
    else:
        mp4_url = True
else:
    mp4_url = False

# Init Graph and Engine
yolo3_resnet18_app = yolo3_resnet18_inference.Yolo3_Resnet18Inference()
if yolo3_resnet18_app.graph is None:
        sys.exit(1)

# Get Start time
run_starttime = datetime.datetime.now()

# Get Frame
cap = cv2.VideoCapture(URL)
ret, frame = cap.read()
print("视频是否打开成功:", ret)

# Get Video Information
frames_num = cap.get(7)
frame_width = cap.get(3)
frame_height = cap.get(4)

# According to the flag,Perform different processing methods
if mp4_url:
    try:
        while ret:
            # Processing the detection results of a frame of pictures
            strattime = time.time()
            ret = yolo3_resnet18_inference.dowork(frame, yolo3_resnet18_app)
            endtime = time.time()
            print('Process this image cost time: ' + str((endtime - strattime) * 1000) + 'ms')
            if ret is None:
                sys.exit(1)

            # Loop through local video files
            ret, frame = cap.read()

        # Run done, print input video information
        run_endtime = datetime.datetime.now()
        run_time = (run_endtime - run_starttime).seconds
        print("输入视频的宽度:", frame_width)
        print("输入视频的高度:", frame_height)
        print("输入视频的总帧数:", frames_num)
        print("程序运行总时间:" + str(run_time) + "s")
        print('-------------------------end')
    except Exception as e:
        print("ERROR", e)
    finally:
        # Turn off the camera
        cap.release()
else:
    print("[ERROR] Run Failed, please check input video.")


推理代码

# -*- coding: utf-8 -*-
# !/usr/bin/python3
# YOLOv3_COCO,检测80种类别的物体

from ConstManager import *
import ModelManager
import hiai
from hiai.nn_tensor_lib import DataType
import numpy as np
import cv2
import utils
import datetime


'''
Yolo3_COCO模型, 输入H = 416, W = 416,模型的图像输入为RGB格式,这里使用OpenCV读取的图片,得到BGR格式的图像,在AIPP中完成BGR到RGB的色域转换和
image/255.0的归一化操作
bj_threshold 置信度阈值,取值范围为0~1。推理的时候,如果预测框的置信度小于该值,那么就会过滤掉, 默认为0.3
nms_threshold NMS阈值,取值范围为0~1。默认为0.4
'''


class Yolo3_Resnet18Inference(object):
    def __init__(self):
        # 由用户指定推理引擎的所在Graph的id号
        self.graph_id = 1000
        self.model_engine_id = 100
        # 基于输入图片框坐标
        self.boxList = []
        # 置信度
        self.confList = []
        # 概率
        self.scoresList = []
        # 输入图片中行人部分
        self.personList = []
        # 实例化模型管理类
        self.model = ModelManager.ModelManager()
        self.width = 416
        self.height = 416
        # 描述推理模型以及初始化Graph
        self.graph = None
        self._getgraph()

    def __del__(self):
        self.graph.destroy()

    def _getgraph(self):
        # 描述推理模型
        inferenceModel = hiai.AIModelDescription('Yolo3_Resnet18', yolo3_resnet18_model_path)
        # 初始化Graph
        self.graph = self.model.CreateGraph(inferenceModel, self.graph_id, self.model_engine_id)
        if self.graph is None:
            print("Init Graph failed")

    '''
    1.定义输入Tensor的格式
    2.调用推理接口
    3.对一帧推理的正确结果保存到self.resultList中
    4.根据返回值True和False判断是否推理成功
    '''

    def Inference(self, input_image):
        if isinstance(input_image, np.ndarray) is None:
            return False

        # Image PreProcess
        resized_image = cv2.resize(input_image, (self.width, self.height))

        inputImageTensor = hiai.NNTensor(resized_image)
        nntensorList = hiai.NNTensorList(inputImageTensor)

        # 调用推理接口
        resultList = self.model.Inference(self.graph, nntensorList)

        if resultList is not None:
            bboxes = utils.get_result(resultList, self.width, self.height)  # 获取检测结果
            # print("bboxes:", bboxes)

            # Yolov_resnet18 Inference
            output_image = utils.draw_boxes(resized_image, bboxes)       # 在图像上画框
            output_image = cv2.resize(output_image, (input_image.shape[1], input_image.shape[0]))
            img_name = datetime.datetime.now().strftime("%Y-%m-%d%H-%M-%S-%f")
            cv2.imwrite('output_image/' + str(img_name) + '.jpg', output_image)

        else:
            print('no person in this frame.')
            return False

        return True


def dowork(src_img, yolo3_resnet18_app):

    res = yolo3_resnet18_app.Inference(src_img)
    if res is None:
        print("[ERROR] Please Check yolo3_resnet18_app.Inference!")
        return False
    else:
        # print("[ERROR] Run Failed, dowork function failed.")
        pass
    return True


代码中加了一些注释,应该比较好理解,有机会再加更详细的注释吧。


执行过程

首先要下载完整代码,并提供了三段测试视频,供选择。代码下载链接

链接:https://pan.baidu.com/s/1E86SFEYjmhaGoQVc6Y7gfg 

提取码:ok0l


下载后,解压缩,可以得到:



之后将包含上述文件的文件夹拷贝到Atlas 200 DK上,在存放目录下执行命令

scp -r YOLOv3_COCO HwHiAiUser@192.168.1.2:/home/HwHiAiUser

注意,我是在YOLOv3_COCO文件下目录下使用的命令,所以直接用文件夹名字就行,否则需要指定路径,使用的是USB连接开发板,如果用网线连接,IP可能不同,更多拷贝文件的方法,请参考博文每天进步一点点——使用scp命令在Atlas 200 DK和虚拟机之间传输文件(文件夹)

链接为 https://bbs.huaweicloud.com/blogs/168928


这里模型有点大,传输可能需要点时间,传输完成结果为




之后登陆开发板,执行命令即可。因为前面,我拷贝到了开发板的/home/HwHiAiUser目录下,所以直接登陆就能看到了,直接执行命令进入文件夹即可

cd YOLOv3_COCO

下面执行程序

python3 main.py input_video/person.mp4

在input_video文件夹下放了三个用于测试的视频,分辨率分别是1920*1080 、1280*720和640*480,这里使用的是person.mp4,分辨率1920*1080



等待程序执行,最后得到



表示程序运行完成,处理一帧大概需要300ms,比较慢,分析可知,主要是读取视频和后处理较慢,推理速度挺快的,后期可能要对后处理做优化,比如使用算子完成后处理,或者硬件解码视频,使用OpenCV读取视频应该不较慢,而且图像质量感觉一般。


最后,将输出的结果图片拷贝到虚拟机就可以查看了,我的命令为

scp -r HwHiAiUser@192.168.1.2:/home/HwHiAiUser/YOLOv3_COCO/output_image /home/ascend/tmp

我拷贝到了虚拟机的tmp文件夹下,具体拷贝文件到虚拟机细节可参考博文https://bbs.huaweicloud.com/blogs/168928


总的来说,Atlas 200 DK挺强的,运行118M的YOLOv3模型毕竟很耗资源。在1920*1080 、1280*720和640*480分辨率的视频下,速度还可以,如图





最终效果展示

这里是做了人(红色),自行车(绿色)和car(蓝色)类别的绘制矩形框。可自行修改代码,绘制COCO数据集80类矩形框,不过速度会慢哈。

最终生成的是图片,如果想合成视频,可以参考https://bbs.huaweicloud.com/blogs/168952


                                                  



                                                  


                                                  










登录后可下载附件,请登录或者注册

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:huaweicloud.bbs@huawei.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
评论文章 //点赞 收藏 3
点赞
分享文章到微博
分享文章到朋友圈

评论 (7)


袁覃

1楼2020-05-29 22:19:46
非常好的文章,值得学习!

Tianyi_Li1楼2020-05-30 09:06:14

谢谢大佬的鼓励。
0/1000

小迷弟

2楼2020-06-29 16:35:40
您好,我想问下,关于推理部分的代码,您当时是按照什么思路写的?

Tianyi_Li1楼2020-08-21 09:40:54

推理代码和PC端一致的,都是对得到的3层输出做解析。
0/1000

Pan

3楼2020-07-26 14:48:40
您好,请问可以用摄像头实时检测吗

Tianyi_Li1楼2020-08-21 09:42:02

用摄像头可以,修改一下输入就行了,由视频输入改为摄像头输入,调用OpenCV几行代码就行了。
实时处理的话,看具体的FPS要求了,可能需要做优化。
0/1000

JinJX

4楼2020-11-10 21:38:08
版主,我在安装DDK的时候遇到这个
Installed /local/DDK/ddk/python3.5/site-packages/topi-0.4.0.egg
Processing dependencies for topi==0.4.0
Finished processing dependencies for topi==0.4.0
Info: Hiaiengine_Python egg donot exits, donot execute hiai_install.sh
Info: ide_daemon pem install succ
Successfully installed the DDK!
这个(第三行)会导致我不能正确调用推理的模块吗?
在尝试你的Demo过程中还是出错
[ERROR] HIAIENGINE:2020-11-10-21:34:46.070.846 Tensor number is 0 which could mean infer failed,[../host/src/py_nntensorlist_from_cpp_nntensorlist.cpp:59:PyNNTensorListFromNNTensorList], Msg: c plus plus nntensorlist convert to python error
[ERROR] HIAIENGINE:2020-11-10-21:34:46.070.895 PyNNTensorListFromNNTensorList failed,[../host/src/graph_run_wrapper.cpp:72:SyncGraphRunWrapper], Msg: init failed
Inference error
no person in this frame.
Process this image cost time: 20.195484161376953ms
输入视频的宽度: 1920.0
输入视频的高度: 1080.0
输入视频的总帧数: 1498.0
程序运行总时间:39s
-------------------------end
[ERROR] HIAIENGINE:2020-11-10-21:34:46.163.146 get hdc session
0/1000
评论

登录后可评论,请 登录注册

评论

您没有权限执行当前操作

温馨提示

您确认删除评论吗?

确定
取消
温馨提示

您确认删除评论吗?

删除操作无法恢复,请谨慎操作。

确定
取消
温馨提示

您确认删除博客吗?

确定
取消

确认删除

您确认删除博客吗?

确认删除

您确认删除评论吗?

温馨提示

登录超时或用户已下线,请重新登录!!!

确定
取消