【乘风破浪的开发者】华为云云享专家历天一:ModelArts与HiLens端云协同之路:普惠AI,助力落地。
三起三落的AI发展之路
人工智能(Artificial Intelligence,AI)自1956年首次提出以来,已经走过了半个多世纪的风雨历程,时至今日,已经发展到了前所
未有的新高度,像所有科学或技术发展那样,最终“落地”应用到各行各业的实际生产生活中,产生价值,是至关重要的一环。
AI发展,也正在由+AI向AI+转变。然而AI应用落地除去鲁棒性强的算法以外,还需要海量标注好的数据、强大的算力平台以及具体的应
用场景等等。这背后是无数精英和强大算力的支撑,一般是由财力雄厚的大公司来做,对于个人开发者来说,显得有些遥不可及,直到
她的出现,仿佛黑暗中的一道光,照亮了前行的路,她就是ModelArts。
我与ModelArts的初次遇见
ModelArts直译过来是模型艺术,在我看来这不仅是模型,更是艺术。
初次相见是在我选修的一门课上,实验环节需要基于已有交通标志数据集,构建模型,完成标志检测的模型训练验证。我们当时使用的
就是ModelArts的开发环境NoteBook,这是我第一次认识ModelArts,其Tesla V100的强大硬件算力支撑和自动配置好的开发环境可
以做到“开箱即用”,让我可以专注于模型的构建,大大加快了开发速度,这给我留下了极其深刻的印象。而她简洁清晰的操作界面也
很具有设计美感,如艺术般优雅。
也正是这次经历也为后来我更多地了解和使用ModelArts埋下了伏笔。
ModelArts与HiLens端云协同开发
当时需要做一个部署,涉及从数据集到训练,再到部署的全流程开发。这时,我首先就想到了ModelArts,因为其便捷的使用让我印象
深刻,同时由于一次在从华为云官网进入ModelArts的界面时,偶然看到了全新发布的华为HiLens,抱着好奇的心理,点进去看了看,
没想到打开了新世界的大门:端云协同、开箱即用、16TOPS的强大算力......一个个映入我的眼帘,这不就是我想要找的部署设备吗?
这下天时地利全齐了,赶紧开干吧。基于华为云ModelArts和HiLens开始了我的端云协同开发之路开始了。
一路上,我遇到的第一个问题是数据标注使用。要找到标注好的开源的数据集并不难,但如何充分利用数据集是需要思考的问题,针
对部署的应用场景来说,数据集的分布,特性是需要分析的,这对训练效果有较大影响,而使用ModelArts的数据集管理功能,不仅
可以可视化所有数据,还可以分析数据集的一些特性,自己也能进行标注的修改,更贴心的地方是可以对数据集进行发布,与后面的
训练部署打通,实现一站式AI全流程开发,真是太棒了。
第二个问题就是调参了,也可以称为“炼丹”吧。在训练中,最主要的工作就是进行参数调整,在数据的训练中会有很多调参,由于
不同的调参对最终模型的精度影响很大,需要不断重复地测试调整,工作量较大,如果使用ModelArts的AI市场中的算法,这个问题
就简单多了,好的预训练模型、关键参数的一键式填写......,这些让训练调参变得简单好懂,即使小白也能轻松掌握。
第三个问题,就是硬件算力支撑。模型训练一般需要使用昂贵的GPU进行训练加速,而且时间一般较长,这可是一笔不小的花费。虽
然我使用的数据集较小,但也是一个问题。而华为云的学生开发者扶持计划解决了这个后顾之忧,18元即可购买为期一年的25小时优
惠套餐,32 GB Tesla V100的强大算力为我的模型训练提供了强有力的算力支撑。
最后,就是模型部署的问题了(当时还没有这么好用的HiLens Stuido)。由于HiLens使用的Ascend 310处理器需要运行专门的.om
模型,首先要做的就是模型转换,ModelArts这方面做的很周到,提供了专门的转换模板,简单设置即可完成模型转换,并保存到
OBS中,后期部署到HiLens时,可以直接从OBS导入,真的是云端训练与部署无缝衔接呀。
至此,我的小项目从零开始已经接近完成了,得益于ModelArts自身平台提供的完善AI开发流程和与HiLens良好的端云协同,一路上
很顺利,进展神速呀。
同时在使用中也有很多收获和惊喜,比如在使用OpenCV做图像处理的时候,需要将最终处理后的图像输出显示,这要求是NV12/
NV21格式,但OpenCV原生并未提供RGB/BGR到NV12/NV21的转换,自己实现的话,也可以,但HiLens Framework十分贴心的
提供了转换接口,让我们简单调用一下就能完成自己想要的功能,真的是很人性化。还有就是HiLens Framework已经开源了,有兴
趣的小伙伴可以去一探究竟了。
此外,对于底层硬件的调用做了很好的封装,比如如果想使用HiLens自带的摄像头或接入USB摄像头的话,只需要简单一句话就行
了,如果要输出处理后的图像到HDMI显示器显示也是一句话就行了,让开发者只需专注自己代码的编写就行了,复杂的与底层硬件
的交互全部有HiLens Framework自己做好了。
可以想象,如果不是借助ModelArts和HiLens,恐怕很难这么快完成训练部署,相信有很多和我一样希望自己训练部署的小伙伴,
会在开发过程中遇到各种各样的问题和挑战,而且很可能因此与AI应用开发失之交臂。
同时,我也很荣幸能来到在上海举办的HUAWEI CONNECT 大会,可谓众星云集,在这里认识了很多很厉害的老师,能够与各位老
师一起交流,感觉收获良多,期待下一次还能来,继续跟各位老师学习。(最后偷偷放一张图)
最后想说,我是幸运的,认识了ModelArts和HiLens,很感谢ModelArts和HiLens,希望以后能与更多开发者一起成长,大家携手与
ModelArts一起发展成长。
- 点赞
- 收藏
- 关注作者
评论(0)