基于华为云VIS+VCR+ModelArts构建城市流动摊贩实时监管系统

1.项目背景

    最近参与到了某城市路面文明监管升级项目，主要针对垃圾倾倒、占道经营、流动摊贩等的整治行动，此处不谈社会与道德层面问题，流动摊贩的监管历来是城市执法的难题，流通摊贩机动性强，通常与监管部门“打游击”，随着城市文明要求的不断加强，对流动摊贩的监管要求也在加大，但传统的定点巡逻方式即不能根治“打游击”行为，也极大增加了监管力度。本项目期望截止布满道路两侧的摄像头数据，结合物联网、人工智能等新一代技术自动化监测流动摊贩行为。

2.建设目标

  项目需要基于道路监控摄像头实时采集的视频数据中通过视频分析及图像识别等技术发现疑似流动摊贩，在发现确认后及时进行消息提醒。

  具体目标：

  1）自动连接现有道路摄像头监管平台，读取摄像头视频数据；

  2）对摄像头视频进行实时分析，发现疑似流动摊贩违法经营图像；

  3）对分析结果数据（疑似图像）发送到监管系统和就近执法人员手机进行确认，确认无误的进行现场执法；

3.技术选型

  系统要求包含功能：视频流接入、视频数据分析（含图像分析）、结果消息提醒等。系统前期进行技术攻关，采用的全自研方式，后期随着摄像头数量逐步增大，发现对性能的消耗也指数级上升，对系统的稳定性也越来越过，期望针对项目需求采用集成成熟产品的方式进行开发，通过比对选型选择了华为云相关产品进行技术调研。

4.自研方案

结构框架如上图，简要技术点如下：

  1.监控点视频数据自动发送到视频存储服务采用的是某品牌整体解决方案。

  2.视频读取服务采用的是opencv读取rtsp视频流方式

  3.视频读取后继续通过opencv进行的视频抽帧，得到每一个视频帧图像。此处因为视频数据是24小时接受的，数据量巨大，所有进行了抽帧过滤，引入了一些校验算法。

  4.视频抽帧后得到具体图像，针对每一个图像进行图像识别，识别这块采用了VGG-Net、Faster-RCNN等，具体不展开

  5.当识别出是疑似信息后调用消息发送接口

随着摄像头的增多产生了一下问题：

  1.视频识别算法机器对GPU卡的开销越来越大，服务器数量也在增加，视频接入与抽帧的需求也极具增加，是的硬件开销很大，需要配备多台服务器进行支撑，多台服务器的管理进而需要服务器性能管理系统，对整个系统的要求也在增多，已经开始超过项目组技术能力范围，开始需求成熟产品解决方案。

5.华为云方案

通过调研华为云系列产品，提出上图解决方案：

1. 通过视频接入服务接入视频采集系统数据，具体接入服务介绍https://www.huaweicloud.com/product/vis.html

2. 通过视频内容分析服务对视频接入服务的数据进行视频分析，具体介绍：https://www.huaweicloud.com/product/vcr.html

3. 除采用成熟产品的视频内容分析外，还计划引入ModelArts自行优化识别算法和引入华为云图像识别服务

   ModelArts介绍：https://www.huaweicloud.com/product/modelarts.html

   图像识别服务介绍：https://www.huaweicloud.com/product/image.html

4. 通过以上方式对视频进行分析得出分析结果

5. 将分析结果进行消息提醒
   

6.问题思考

以上华为云方式基本满足项目业务需求，但有几点值得推敲

1）整体架构：除了华为云成熟产品外，其余功能部分还是需要定制开发，这部分的框架怎么更好的和华为云进行结合？

2) 对于视频分析结束后的结果要提醒给各个片区的执法人员，执法人员的位置是动态分部且实时变更的，怎么能基于动态位置还要结合现有任务进行实时任务派发，是否有成熟的产品之间进行对接（此处类似于外卖派单系统逻辑业务）

3)出流动摊贩外，垃圾倾倒、违法占道等行为也是要采用同样的逻辑方式进行视频分析，怎么既能统一化管理又能特定化优化，对于此处的技术框架该怎么更新

以上是个人浅薄见解，欢迎指正