【云驻共创】如何使用华为云EI产品做创新应用开发
如何使用华为云EI产品做创新应用开发
华为开发者大赛是华为ICT领域的顶级开发者赛事,旨在面向开发者全面开放华为各产业领域的技术成果,鼓励开发者发挥想象力和创新精神,用ICT技术解决实际问题、创造价值,与华为一起引领数字未来,共建智能世界。今天我将为大家分享《如何使用华为云EI产品做创新应用开发》这一主题。本次主要介绍了ModelArts一站式AI开发平台的使用,AI Gallery,AI应用框架ModelBox的使用等内容。
首先,我们了解下云应用创新赛的赛事背景,云是开发者获取领先技术,实现应用敏捷开发、价值变现的最佳渠道。云应用创新赛将华为云上全新的技术成果、开放能力、开发工具等全部以API的方式开放给开发者,开发者可以充分发挥想象力进行创新创造,用技术突破在云上完成应用的开发、部署、上线等端到端操作。
华为开发者大赛云应用创新赛是提供了涵盖AI、IoT、PaaS、媒体、数据库等领域的40+业界领先开放能力,参赛者须至少使用其中一种技术构建创新应用或解决实际问题,不限场景,自由创作。
一、AI产业的现状
不可否认,随着AI算力和模型的大量供给,我们即将踏入真正的AI时代。当前,我们是处在这个爆炸式创新的AI时代前夜。而人工智能这个词最早是在1956年达特茅斯会议中提出来的,人工智能发展到现在有非常多的理论,它的概念也有很多的扩展。根据最新的维基百科中显示,经济学家们认为人类发展到今天总共有26种通用技术,人工智能就是其中的一种。它是一组技术的合集,也是一种新的通用目的技术,如同19世纪的铁路和电力,以及20世纪的汽车、电脑、互联网一样。
现在,随着强大算力支撑人工智能的快速发展,第三次AI浪潮已经到来,人工智能已经成为经济社会发展的新动能。AI现在走进了企业的核心性生产系统,开始创造更多的价值。2025年AI产业市场规模预计达到7.44万亿美金,未来五年年均增长30%+。
从AI+到+AI,人工智能走进了千行百业,开始进入实用阶段。以前的AI应用是单技术方向的,比如图像识别和分类,声音的识别和克隆,这些可以算是AI+行业的应用探索。目前现状是随着单模到多模的AI应用开发,从感知到认知的知识计算方案落地,AI开始走进企业的核心生产系统,深入数字化工作中,对智慧城市、智慧园区、工业互联网、智慧医疗、自动驾驶、智慧金融等应用场景创造更大的价值。但是从“AI+行业”的想法到产品化的应用,我们还面临着“两难两缺”。虽然AI的发展让人惊喜,但AI的落地,从想法到产品化,我们还面临着很多困难,概括起来就是“AI开发难”、“AI行业落地难”、“AI算力稀缺”、“AI人才短缺”。
二、学AI,用AI尽在华为云ModelArts
面对“两难两缺”,我们面临的困难,不管是之前我们提出的华为云知识计算、华为云盘古大模型,还是我们现在要讲的华为云和AI开发平台ModelArts,我们都在试着去解决这些难题。华为ModelArts是一站式AI开发平台,这是我们的一个主力产品。华为AI相对于业界的优势是我们大大的降低了AI的入门门槛,同时提供高性价比的AI和业界唯一的全栈全场景的AI解决方案。AI全场景包括公有云、私有云、各种边缘计算、物联网行业终端以及消费类终端等端、边、云的部署环境。华为AI全栈布局,是指深入到AI从设计到最终实现的每个环节,包括底层芯片的IP和芯片产品、计算架构、API等。也就是说从底层芯片到中间算法、框架和应用平台,华为均有解决方案。而ModelArts是面向开发者的一站式AI平台,为机器学习与深度学习提供海量数据预处理及交互式智能标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。
接着,我们再详细介绍一下ModelArts。ModelArts这个一站式的AI开发平台为我们提供了丰富的开发套件以及工具。从数据的处理开始,你可以把你采集到的数据放在我们华为云对象存储服务obs中,然后从obs将数据导入到ModelArts就可以进行数据的处理。同时,我们提供数据的标注,多人标注,多人团队标注。对于团队标注,只要创建团队即可,一个团队标注同一份数据。我们也提供智能数据标注,只要标注少量数据,剩下的数据就可以使用智能标注这种半自动化的标注。
ModelArts也提供了很多开发工具用于算法的开发,比如可以用Pycharm SDK或者是VScode SDK。算法的开发也提供了线上的开发工具,比如Codelab和Jupyter notebook,也可以进行远程的连接。ModelArts提供在线的模型训练,可以自动进行超参的调优。它也提供模型管理,模型仓库,可以做精度的追踪、模型的评估等。当然,像这种算法的训练也可以不在ModelArts上进行,可以直接将您在本地训练好的模型导入到ModelArts,然后去进行模型部署。在部署在线实时服务时,也可以进行批量服务,这些都是支持端边与协同模型部署的。另外,部署好的模型,开发好的算法,也可以发布共享至AI Gallery,然后进行模型的共享和售卖。
AI应用管理:灵活支持多厂商多框架多功能模型统一纳管。
然后,模型部署:端、边、云全场景AI部署。平台也提供在线服务、批量服务、边缘服务、端侧服务等功能。
我们的AI Gallery是一个构筑AI供需的桥梁,它是一个免费的、开放的AI的生态社区。在这个生态社区,我们有很多的AI内容,它的建设原理是希望不管是AI的学习,还是做AI的开发,或者是想找AI模型,做AI应用的最终落地都可以找到需要的内容。通过AI Gallery,AI生态社区来嫁接AI供需的桥梁来推动AI的快速落地。
当然,我们官方的产品在上面都是免费的、开放的。无论是企业还是个人开发者,都可以在AI Gallery有自己使用的这个场景。AI Gallery提供了很多AI案例,对企业和个人开发者提供AI资产,获取收益和荣誉。
然后,上面也有一些关于AI的讨论,一些AI论文的解读文章,或者说一些AI论文复现的案例在上面,也有一些高质量的算法内容。因为AI Gallery跟ModelArts平台是连通的,它上面的代码都可以一键快速的在ModelArts上进行开发实践。然后,AI Gallery社区也会提供一些免费的AI范例。开发者可以在上面进行数据的分享、数据的获取、AI开发。因为它有免费的范例,其实可以直接在这上面做AI开发。总的来说,AI Gallery是想成为一个知识+实训的这种AI开发社区。
华为云官方提供了60+官方算法,比如说ResNet_v1_50、Fast-SCNN等等。一些AI大赛的获奖作品,论文附献,更多的三方精选内容如花卉种类识别也共享到了这上面。目前,这上面的优质资产达到了600+,资产订阅量2W+,AI开发者达到20W+。除了这些资产案例代码以外,华为云官方还提供以AI开发者为中心,打造全旅程的学习体系课程。这些课程,适合于AI初学者、AI工程师、AI的应用工程师。这些课程都可以在AI Gallery上免费的学习。同时,因为我们也提供了免费的范例,学习者在学习的过程中就可以进行实践操作。
接着,我们介绍一些AI应用。如帮助雨林保护组织,利用回收的华为手机+AI守护雨林。
三、ModelBox:端边云统一的AI应用运行时框架和规范
现在的趋势是AI技术的快速普及,端边云协同来加速AI产业的落地。但是因为AI开发经常是基于一些特定的机器,然后把它部署到端边云上面,可能有的时候需要进行模型的一些转换,模型的一些适配工作。它会非常麻烦,它的开发工作重复低效,因为进行模型转换的话,你基于不同的硬件就需要做很多不同的操作。基于AI不同的硬件和基础框架的种类非常繁多,像这种不同的伙伴,不同的企业,它的AI应用格式和接口是不统一的,AI应用可能很难在端云统一去进行一个部署管理。基于这种挑战,我们推出了ModelBox,这个端边云统一的AI应用运行时框架和规范。它是一个高性能的高扩展的AI应用框架,可以帮助开发者快速完成AI开发和部署。
之前所说的ModelArts,我们可以在ModelArts上进行相关AI应用的开发,然后将你的模型在类似华为Hilens这种轻量级的边端上进行部署,将你的数据直接运行在上面得到这个AI推理的结果。
ModelBox的优势在于统一算法模型打包格式,实现了端边云接口的统一。它的基础能力,比如图编排API、图编排引擎、功能单元API、基础功能单元库等等,可以做到这个单元图编程。它也可以屏蔽底层软硬件的差异,做到跨硬件,跨操作系统,跨推理框架,真正做到一处开发,端边云多处部署。它还有高效的推理性能,智能调度可以做到并发运行推理,效率可以提升三到八倍左右。刚才说到它有图编排的API,可以进行可视化的编排开发,全场景高效集成。API类的调用生成了一个技能之后,可以将这个技能下发到多种边端,也可以共享给其他的开发者。
接着,我们介绍下ModelBox的关键特性。关键特性一:屏蔽软硬件差异,一次开发,端边云多处部署;关键特性二:智能调度,优化AI推理的运行性能;关键特性三:可视化图形编排及API开发。
然后,给大家展示个案例:使用ModelBox开发AI应用流程样例。第一步:本地服务器启动ModelBox开发镜像或华云ModelArts平台创建NoteBook实例。第二步:VSCode SSH连接服务器或在线实例基于ModelBox框架进行开发。第三步:打包并部署到云侧,边缘计算设备、端侧设备。
此外,ModelBox引入AI开发者生态力量,推进多种部署场景AI解决方案落地。同时,ModelBox连接南向/北向ISV,构建AI解决方案。ModelBox的开源计划是共建端边云协同AI生态。
最后,给大家介绍一些应用案例:“出行疲劳驾驶&分神驾驶检测”,“智慧水务“,“轻量级智慧园区方案”等。其中,如“智慧水务”:AI使能智能摄像头,智能管理城市基础设施。它是基于视觉方案的智能水尺检测,它的特点是低成本、高精度、可核验、易升级。
综上所述,华为云EI产品加速着行业AI应用落地,服务着千行百业。智慧城市、智慧园区、智慧工地、智慧高速、智慧水务、智慧机场、智慧交通、OCR都可以基于ModelBox来进行开发。本次创新应用赛道中的案例可以基于ModelArts平台来进行模型的开发,基于ModelBox来进行端边云的部署。
本文参与华为云社区【内容共创】活动第19期。
https://bbs.huaweicloud.com/blogs/370132
- 点赞
- 收藏
- 关注作者
评论(0)