软件定义摄像机算法的开发体验

环境准备

• Darknet 模型 demo。

• 华为软件定义摄像机 APP demo。

• 算法打包相关配置文件

• 量化时所需的图像文件

模型下载地址：

链接： https://pan.baidu.com/s/13FkpUsB09YYjcEPcjkoFLQ

提取码： rt7r

登录 HoloSens 一站式开发平台

点击链接 www.holosensdev.top:8088进入 HoloSens一站式开发平台界面，“点击进入 HoloSens一站式开发平台” 蓝色按钮进入登录界面。

对mac的支持不太好，有时会一直停留在"正在处理请求"，无法登录，重新点击登录才能进入，Windows登录没有出现这种问题，但登录响应时间有点长，对客户的感知不太好；

登录成功后如下图所示：

界面简洁明了，操作步骤清晰，如果能在每个步骤能增加一些详细原理介绍，让大家更清楚为什么要这样做，就更好了。

这里我选择的是 X2221-FLG.

模型训练

因为体验已经给了预训练好的yolo3，忽略此步骤，点击下一步进入模型转换和算法文件打包环节。如果需要进行模型训练， 点击进入“华为训练云服务” 进行模型训练。

模型转换

点击“模型转换”进入模型转换界面

以 Darknet 模型转换为例，转换方式选择“Darknet”，分别上传 Darknet 文件的 cfg 文件和weights 文件， 点击“配置”。

在Darknet配置界面选择New_Version，完成配置后，点击转换，然后就卡在这里了，不知道是自己机子问题，还是平台太忙没有响应，也不敢关掉或返回，怕转换了半天的工作又要重来，实在熬不住睡觉去了，第二天早上看，发现失败了。也不知道原因，建议能给出日志方便查找失败原因。同样姿势，再来一次，这时才发现下面有个不起眼的进度条，这次成功了，可能昨晚大家都在操作吧。

生成Caffe和对应的prototxt后，点击配置进入调参环节：

在配置界面分别完成 Output、 Run Time、 Compile、 Sparse 基本参数和动态参数的配置。 Output。

配置示例内容如下图。

Run Time 配置示例内容如下图。

Compile 配置示例内容如下图。

Sparse 配置示例内容如下图。

这里需要接连设置Output、Run Time、Compile、Sparse几个步骤，每步的参数对小白来说过于晦涩，完全不知道是什么意思，跟我们平时深度学习训练的参数也完全不同，建议增加操作说明，每一步骤是干嘛用的，各个参数的含义以及对结果的影响，

如果能设计得更友好些，简化步骤或者预先设置好初始值，让小白不需翻看详细的手册就能轻松的调通，就更好了。

基本参数配置完成后， 动态参数的配置示例如下图。

动态参数的说明如下：

（1） image_type 选择 U8。

（2） RGB_order 选择 BGR。

（3） image_list 上传 NNIE mapper 量化时需要的典型场景图片列表文件。 建议从网络模型的测试场景随机选择 20~50 张作为参考图片进行量化， 选择的图像应覆盖模型的各个场景， 例如检测人员、 车辆的模型，参考图像中必须包括人员和车辆的图片，不能仅使用人员或车辆或者无人无车的图像进行量化。网络中如果存在多个输入层，则需要配置多个 image_list 项， 顺序、个数与prototxt 完全对应。

（4） 将量化时需要的典型场景图片打包正 zip 格式压缩包上传。

（5） norm_type 选择 data_scale。

（6） data_scale 采用默认值 0.00390625

（7） mean_file 非必选， 此处可上传空文件； 当 norm_type 为 mean_channel_value时， mean_file 为必选。

指导手册里说：mean_file 非必选，此处可上传空文件，这里我是直接留空了，没有上传也通过了。

点击转换，很快就完成了，然后下载wk文件。

算法打包

点击“算法文件打包”进入算法文件打包界面。

上传待打包的 bin 文件、 spec 文件、 wk 文件以及其他文件。完成文件上传后的示例如下图， 点击“开始制作” 进行算法文件打包。完成文件上传后的示例如下图， 点击“开始制作” 进行算法文件打包。

制作成功后，生成后缀为rpm的文件，浏览器自动下载。

这里的操作步骤略显繁琐，之前我们下载了wk文件，现在又要上传，然后再次下载rpm文件，在后面线上调试时，还是要再次导入rpm包，可能设计者是考虑节省平台的资源吧，如果这些步骤都能在平台上操作，象ModelArts平台那样，在训练作业时，可以直接选择上一步创建的数据集，给用户感知更好。

就像下面的ModelArts训练界面：

申请摄像机

选择要申请使用的时间段，我随便选了个时间段，之后点击“确认申请”，过了几小时再操作时，已经忘了自己选了那个时间段了，界面上找了半天也没找到，重新申请又失败。建议在“当前预约摄像机”右边加上“预约时间段：”

线上调试

选择场景视频，进入场景视频页面，场景视频中提供部分视频 demo，也可以上传自有视频流。

上传自有视频时， 应满足下面条件：

 上传文件格式限定为 H264 或 H265。

 大小不超过 50M。

 最多支持上传 1 个文件，新上传文件会覆盖旧文件。

 视频帧率 （大小 1-30），分辨率高度 （大小 32-3840），分辨率宽度（大小 32-2160）。

点击保存按钮， 文件会上传到云端， 上传成功后会弹出相应的提示。

导入刚才下载的RPM文件。 点击元数据，没看到bounding box叠加到视频上，再仔细一下，RPM包 显示“已停用”，找了半天才发现在元数据右侧的“^”符号下有启用，隐藏得太深了，建议直接在“已停用”位置双击即可启用。

下载的视频播放插件是exe文件，mac不支持，更换windows系统，终于ok了。

算法上线

点击 HoloSens Store 链接，使用华为云账号登录 HoloSens Store。

• 选择上传算法包。

• 根据提示填写或上传基本信息。

• 根据提示填写详细信息。

• 完成上述操作后，点击确认上传按钮， 完成算法上传。 算法上传完成后， 相关内容信息需经过审核方可进行展示，请等待审核。

至此就完成了华为软件定义摄像机从 AI 模型转换到上线智能视频算法商城 HoloSensStore 的 全 流 程 体 验

HoloSens 一站式开发平台的优势：

界面简洁明了，操作手册编写完善，小白也能非常容易上手，

存在的问题及个人建议：

1. 在每个步骤能增加一些详细原理介绍；

2、模型转换的时候下载文件按钮只能点一次，下载速度慢，有时会下载失败，这时又得重新进行转换，在系统忙时耗费大量时间。

3、 wk和RPM文件需要重复下载、上传，操作非常繁琐，建议象ModelArts那样能够直接在平台上操作。

4、需要配置的参数太多，且不清楚具体用途，建议给出详细的参数含义，或者直接给出能够跑通的预设初始值；

5、登录和下载插件对mac的支持不太友好。