华为云人工智能入门级开发者认证 - 第④章 ModelArts服务介绍
ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流
面向不同经验的AI开发者
面向业务开发者,不需关注模型或编码,可使用自动学习流程快速构建AI应用;
面向AI初学者,不需关注模型开发,使用预置算法构建AI应用;
面向AI工程师,提供多种开发环境,多种操作流程和模式,方便开发者编码扩展,快速构建模型及应用
“一站式”是指AI开发的各个环节
自动学习 数据管理 开发环境 训练平台 推理平台 AI Gallery
行业发展趋势
人工智能走进千行百业,开始进入实用阶段
从AI+到+AI
AI+和+AI差别是什么?
-
AI+
-
是以AI为核心,AI工程师科学家为核心来寻找商业机会; -
AI+公司早期是在语音、视觉、芯片方面为主的
-
-
+AI
-
针对传统应用去产生价值然后必须和传统公司来合作,甚至是传统公司来主导的AI应用,而传统公司会寻找AI公司来帮助他们 -
+AI公司可以看到一些比较好的例子,比如说文远知行和广州出租车公司合作
-
“两难两缺”
-
难
-
开发难 -
行业落地难
-
-
缺
-
算力稀缺 -
人才稀缺
-
华为云EI融合行业智慧,探索AI落地
ModelArts概览
AI落地的核心技术
全面加持ModelArts
基于昇腾芯片的全栈自主可控
基于ModelArts的雨林保护行动方案
-
华为云与热带雨林保护公益组织合作,使用AI、云和收集保护哥斯达黎加的热带雨林及蜘蛛猴等珍奇动物
-
痛点
-
人工巡检需要大量人力,人工观察分析大自然需要生物学领域知识
-
-
目的
-
使用声音分类,识别雨林中的各种声音,达到保护雨林的
-
该模型准确率高,大大降低假正率,减轻人工验证假正率负担。” - RFCx COO
RainForest Connection是一家致力于通过技术保护雨林的非营利性组织,他门通过将废弃手机改装为太阳能监听设备,采集数据上传到云端进行AI识别电锯声音并发出警报,以保护热带雨林免遭非法砍伐。
案例原文:用聆听拯救雨林https://www.huawei.com/cn/technology-insights/cases/rainforest-connection
基于ModelArts的安全驾乘方案
-
ModelArts上训练的人形检测模型,部署到智能摄像头上,可以检测道路上的行人。
ModelArts功能介绍
-
全栈、全流程、全场景
-
统一管理、统一调度
-
支持业界主流引擎和自研引擎,实现零成本迁移
-
提供多维度功能特性,满足各类用户
-
繁多的AI工具安装配置、数据准备、模型训练慢等是困扰AI工程师的诸多难题。
-
ModelArts是一站式开发平台,能够支撑开发者从数据到AI应用的全流程开发过程。包含数据处理、模型训练、模型管理、模型部署等操作,并且提供AI Gallery功能,能够在市场内与其他开发者分享模型。
-
ModelArts支持应用到图像分类、物体检测、视频分析、语音识别、产品推荐、异常检测等多种AI应用场景。
自动学习
自动学习功能介绍
-
ModelArts自动学习是帮助人们实现AI应用的低门槛、高灵活、零代码的定制化模型开发工具。
-
自动学习功能根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型。
-
开发者无需专业的开发基础和编码能力,只需上传数据,通过自动学习界面引导和简单操作即可完成模型训练和部署
三步创建AI模型
-
①上传并标注数据 -
②训练模型 -
③验证并发布模型
图像分类:识别图片中物体的类别。 物体检测:识别出图片中每个物体的位置和类别。 预测分析:对结构化数据做出分类或数值预测。 声音分类:对环境中不同声音进行分类识别。 文本分类:识别一段文本的类别。
开发环境
-
软件开发的历史,就是一部降低开发者成本,提升开发体验的历史。 -
在AI开发阶段,ModelArts也致力于提升AI开发体验,降低开发门槛。 -
ModelArts开发环境,以云原生的资源使用和开发工具链的集成,目标为不同类型AI开发、探索、教学用户,提供更好云化AI开发体验。
ModelArts CodeLab(JupyterLab)
-
让AI探索&教学更简单
-
云原生Notebook,案例内容秒级接入与分享 -
Serverless化实例管理,资源自动回收 -
免费算力,规格按需切换
ModelArts Notebook
-
云上云下,无缝协同
-
代码开发与调测。云化JupyterLab使用,本地IDE+ModelArts插件远程开发能力,贴近开发人员使用习惯 -
云上开发环境,包含AI计算资源,云上存储,预置AI引擎 -
运行环境自定义,将开发环境直接保存成为镜像,供训练、推理使用
数据管理
-
数据管理平台提供了聚类分析、数据特征分析、数据清洗、数据校验、数据增强、数据选择等分析处理能力,可帮助开发者进一步理解数据和挖掘数据,从而准备出一份满足开发目标或项目要求的高价值数据
训练平台
-
Turbo模式 -
资源闲时自动扩容,提高分布式并发水平,加速10倍训练速度(2hour缩短到10min)
-
-
Economic模式 -
优化调度模式,将更多的训练任务紧凑部署到资源池中,价格下降30%
-
ModelArts高性能分布式训练优化点
自动混合精度训练(充分发挥硬件计算能力) 动态超参调整技术(动态 batch size、image size、momentum 等) 模型梯度的自动融合、拆分 基于BP bubble自适应的计算,通信算子调度优化 分布式高性能通信库(nstack、HCCL) 分布式数据-模型混合并行 训练数据压缩、多级缓存
推理平台
模型部署:端、边、云全场景AI部署
模型仓库:多厂商、多框架、多功能模型统一纳管
AI Gallery
-
网址 -
https://developer.huaweicloud.com/develop/aigallery/home.html
-
供需桥梁,共筑AI生态社区
学习
开发
落地
- END -- 点赞
- 收藏
- 关注作者
评论(0)