在华为摄像机中运行的第3方算法APP软件开发流程

1、应用开发

a) AI模型适配:
      目前华为的摄像机使用的是海思Hi3559A/Hi3519A芯片,因此需要把算法模型转换成海思定义的wk格式文件,如果不是caffe模型则先转换成caffe模型(一般都有开源工具),再使用海思SDK中携带的ruyistudio编译成海思格式的算法包。(如果算法厂家已经在Hi3xxx系列上开发过算法,一般不需要华为指导,也能较快地完成算法移植)没有训练资源或没有经验的厂家,可以使用华为企业云的ModelArts服务进行AI开发,ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成,帮助用户快速创建AI模型,ModelArts链接如下:https://www.huaweicloud.com/product/modelarts.html


b)摄像机基本业务APP功能开发:

      SDC OS开放了YUV/VENC 流通道设置、查询、流预定功能,使用NNIE进行智能推理功能,提供了带CACHE的内存申请、释放等功能,JPEG编解码、图片合成拼接以及红灯增强、抓拍等功能,后续其他功能逐步开放中,更多详细信息,参见SDC服务化接口开发指南文档:https://support.huawei.com/enterprise/zh/doc/EDOC1100071285?idPath=7881490%7C7919735%7C9864313%7C21781998%7C21500931

      第3方厂家可以在linux环境上开发应用程序,获取yuv数据帧后,进行智能算法识别。



2、资源限制
       摄像机内的资源有限,一般需要第三方的软件包(含智能算法模型)大小不超过150M,运行内存不超过2G,使用算力不超过4T(不同款型的内存和flash空间不同,具体可参见产品规格说明)

3、调试方法
     目前需要购买相应型号的摄像机进行调试,后续规划了远程实验室,预计2019下半年开通,用户可以申请开通远程调试、测试APP的功能。