CVPose——基于MindSpore框架的手势识别APP

信息技术时代，随着人机交互方式的转变，非接触式交互已是大势所趋，人类的原始本能就是要摆脱种种设备限制；而如今多媒体技术飞速发展，直播短视频等新兴娱乐方式进一步扩展了手势识别市场潜力；人们对于未来科技的无限幻想将不再是梦，方寸之间即可触控未来。

基于兴趣使然，也是为了参加学校举办的昇腾程序设计大赛，与小伙伴们一起尝试学习做出了这个APP。

其主要的功能简单包括以下几个方面：
（1）手势互动摄像
用户可以打开摄像头，实时检测用户的手势进行互动摄像，如对于“OK”、“Yeah”等手势识别进行拍照，对于特定姿势识别开始、暂停或结束摄影，手势功能可由用户在手势库中自行选择设定。
（2）直播手势特效
本产品可以以类似“手势魔法”插件的形式嵌入直播软件或者视频录制当中，根据用户设置的“单手比心”、“双手比心”、“666”、“点赞”、“开枪”等等手势识别展示特定的魔法特效，加强用户间的互动体验，增加直播或视频趣味性。
（3）手势游戏互动
现如今流行直播PK类的互动，两名用户之间可以采用本产品的手势游戏功能，进行如“石头剪刀布”的手势游戏，本产品可以识别双方各自的手势并能判断游戏胜负结果并展示特效。又如可以进行“趣味算术”，通过手势识别出0-9以及算术符号，进行简单、趣味的10以内加减乘除算术。
（4）多样性用户自定义互动
用户可根据需求，自行定义所需功能。本产品目前共可识别二十余种手势，随着版本更新迭代，手势库的数量会越来越多，用户可以自定义设定手势识别的特定功能，对本产品提供的“1”、“2”、“3”等手势设定自己想要的功能，比如设定“1”打开相册、“2”开始/暂停摄影等等，为用户提供多样性的交互体验。
（5）额外的趣味性魔法特效
本产品除了实现手势识别的功能，也研究开发市场上主流魔法特效本产品，主要为实现人脸识别，基于该识别出的人脸完成一些魔法特效如替换背景、证件照生成、骨骼点描绘等。

具体框架流程如下：
①.基于 MindSpore 全场景 AI 深度学习 框架训练手势识别模型 框架训练手势识别模型 ；
②.基于 MindSpore Lite全场景推理框架 将①中训练的 手势识别 模型 转 化为 MindSpore Lite 模型 ，即 *.ms 模型文件 ；
③.采用 Android Studio 进行安卓开发， 在端侧利用 MindSpore Lite C++ API 、JAVA API 和②转换 好的 手势识别 模型完成端侧推理，实现对摄像头设 备捕获的内容进行分类，并在 APP 图像预览界面中，显示出 手势识别 结果 。
④.根据③识别出的手势结果，做对应功能操作，如实现贴图特效、 进行拍照、手势游戏等。
⑤.额外的趣味模块（ 如人脸识别模块 ）亦使用 如上①至④ 的步骤将人脸 的步骤将人脸 识别模型端侧推理部署在 APP 当中。
其中安卓 开发 的依赖 环境 如下：
·Android Studio >= 3.2
·NDK >= 21.3
·CMake >= 3.10.2
·Android SDK >= 26
·JDK >= 1.8

部分功能展示图如下：

部分gif图压缩完还是太大了上传不了。。。