三步实现机器狗灭火,ModelArts让AI开发变得太简单
AI应用开发、落地到底难不难?
这个问题如果是ModelArts来回答,肯定是不难。
之前,繁多的AI工具安装配置、数据准备、模型训练慢等是困扰AI工程师的诸多难题。华为内有很多算法工程师、AI 开发工程者都会遇到这些痛点。
于是,华为就把痛点的解决方案积累下来,最后做成了ModelArts这个平台。以下是ModelArts功能总览:
作为一站式AI平台,ModelArts提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期 AI工作流。
最近,华为云发布了ModelArts 3.0版本,其中,EI骨干模型(EI-Backbone)是其核心特性之一。
本文将详细谈谈ModelArts在EI-Backbone特性下,如何实现四足机器狗的工业场景巡检:识别火情,自动规划路径,关闭火情按钮等。
机器狗如何自动规划路径?
在今年的华为全联接大会上,华为云演示了如何基于ModelArts为机器狗构建起“感知+认知+决策”的能力,让机器狗理解到火对于工厂环境是有危害的,重新学习并规划生成一条新的行走路径。
其中,机器狗是如何运用ModelArts平台进行云端协同利用强化学习算法进行路径切换的呢,以下慢慢道来。
第一条路径中有火焰,是一条危险路径。
机器狗自主决策后生成第二条路径,绕开火焰行动。
首先,机器狗将感知火焰位置,建立强化学习训练环境,自动上传至OBS中。利用ModelArts SDK启动云端强化学习训练,训练机器狗如何找到最优路径灭火。
训练结束后在ModelArts平台导入模型、部署在线推理服务。此时只需要自动获取服务Token和API就可以调用在线服务进行推理,获取安全路径,最终控制机器狗绕开火焰灭火。
具体示例如下:
利用ModelArts SDK启动强化学习训练;
2. 在ModelArts平台导入模型;
3. 在ModelArts平台部署在线服务。
最后在机器狗端侧获取路径,通过机器狗导航功能控制机器狗进行灭火。
一句话总结:通过ModelArts和Atlas 200DK为机器狗赋予AI能力,让它可以实时感知现场环境,并通过知识图谱交互分析,强化学习动态决策,令机器狗具备复杂的行进路径规划和动作的能力,端云协同守护工厂园区的安全。
这其中的关键一环便是华为云骨干模型EI-Backbone,它是华为云EI开发的通用预训练模型架构,其目的是打造预训练模型结合小样本微调的高效训练模式。
EI-Backbone会提供通用预训练模型和行业定制化开发流程,使得成型的开发经验能够做到规模化复制,降低AI的使用门槛。
如果以NLP领域的预训练模型为标杆,那么EI-Backbone就是打造CV领域的BERT。
BERT之所以被称为“NLP新时代的开端”,不仅仅是因为诞生之初,就刷榜各大NLP榜单。更是因为,基于BERT预训练模型,只需要简单的迁移策略,就能让NLP模型在下游任务中获得良好的性能,这无疑大大推动了自然语言处理领域的研究发展。
而EI-Backbone就致力于为CV领域的开发者复刻BERT的体验。
以医疗影像分割为例,过去需要成百上千例标注数据才能进行的训练,在EI-Backbone的加持下,只需要几十例甚至十几例标注数据即可完成,节省标注成本90%以上。
目前,EI-Backbone已经在10余个行业有了成功的案例验证,并且斩获10余个业界挑战赛冠军。围绕EI-Backbone,华为云也已经发表了100余篇相关论文。
后续,相关模型架构会逐步开源。
AI开发神器新特性:联邦学习、AI给你Debug、弹性训练
ModelArts 3.0除了EI-Backbone这个特性外,还加入了联邦学习。
在实际的AI落地中,往往存在数据孤岛的问题:数据分散在不同的数据控制者之间,受限于隐私、安全等问题,这些数据并没有办法轻易打通,这就使得落地到实际产业中的AI算法训练效果受到了限制。
针对这个问题,华为云ModelArts提供联邦学习特性,用户各自利用本地数据训练,不交换数据本身,只用加密方式交换更新的模型参数,就能实现联合建模。
不过,对于AI开发而言,有丰富数据作为基础,完成模型训练,并不意味着大功告成。
模型性能的评估和调优同样是一项重要,且对开发者自身经验要求很高的工作。
ModelArts 3.0在这一环节中提供的特性是AI智能评估。
这个模块会从数据、模型两个方面对模型的综合能力进行评估,评估指标包括精度、性能、可信度和可解释性:
比如以性能为例,ModelArts 3.0能提供算子级别的时间、空间消耗统计分析和多种整体的性能指标,并且针对模型的表现给出相应建议,如模型量化、蒸馏等;
也就是说,Debug这样繁重的工作,ModelArts 3.0也能给它自动化了,并且还是对数据到模型训练整体过程的全面评估。
另外,为了更好地支持超大算力需求的AI研发,ModelArts在集群规模,任务数量,以及分布式训练都做了针对性的优化。
通过优化服务框架,ModelArts能支持10万级别的作业同时运行、支持万级芯片的大规模分布式任务。
为了帮助企业在AI落地过程中进一步降本增效,ModelArts 3.0还具备弹性训练这一核心能力。
也就是说,ModelArts根据模型训练速度的要求,可以自适应匹配最佳资源数,具体在产品上,提供两种模式。
一是Turbo模式,可以充分利用空闲资源加速已有训练作业,在大多数典型场景下加速效率大于80%,训练速度提升10倍,并且不会影响模型收敛精度。
二是Economic模式,可以通过最大化资源利用率,给开发者提供极致的性价比,在大多数典型场景下可以提升性价比30%以上。
总结:
ModelArts从发布到如今迭代到3.0版本,一直在践行的是:将简单留给开发者,复杂留给华为云。之后,这个一站式AI开发平台会继续在强化学习、小样本训练、分布式二阶优化器、模型计算和大规模芯片多级互联等新技术领域上持续进步。
如果你也想体验最新版ModelArts,就快来华为云双11上云嘉年华活动中精免费算力不限次参与。
- 点赞
- 收藏
- 关注作者
评论(0)