华为云人工智能入门级开发者认证 - 第④章 ModelArts服务介绍

举报
高级云网管 发表于 2022/05/23 18:57:56 2022/05/23
【摘要】 ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流.
                                                     获取您的EI红宝书:https://www.huaweicloud.com/ei/
                                                           

ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流

面向不同经验的AI开发者

  • 面向业务开发者,不需关注模型或编码,可使用自动学习流程快速构建AI应用;
  • 面向AI初学者,不需关注模型开发,使用预置算法构建AI应用;
  • 面向AI工程师,提供多种开发环境,多种操作流程和模式,方便开发者编码扩展,快速构建模型及应用

“一站式”是指AI开发的各个环节

  • 自动学习
  • 数据管理
  • 开发环境
  • 训练平台
  • 推理平台
  • AI Gallery

行业发展趋势

人工智能走进千行百业,开始进入实用阶段

从AI+到+AI

AI+和+AI差别是什么?

  • AI+

    • 是以AI为核心,AI工程师科学家为核心来寻找商业机会;
    • AI+公司早期是在语音、视觉、芯片方面为主的
  • +AI

    • 针对传统应用去产生价值然后必须和传统公司来合作,甚至是传统公司来主导的AI应用,而传统公司会寻找AI公司来帮助他们
    • +AI公司可以看到一些比较好的例子,比如说文远知行和广州出租车公司合作

“两难两缺”

    • 开发难
    • 行业落地难
    • 算力稀缺
    • 人才稀缺

华为云EI融合行业智慧,探索AI落地

ModelArts概览

AI落地的核心技术

全面加持ModelArts

基于昇腾芯片的全栈自主可控

基于ModelArts的雨林保护行动方案

  • 华为云与热带雨林保护公益组织合作,使用AI、云和收集保护哥斯达黎加的热带雨林及蜘蛛猴等珍奇动物

  • 痛点

    • 人工巡检需要大量人力,人工观察分析大自然需要生物学领域知识
  • 目的

    • 使用声音分类,识别雨林中的各种声音,达到保护雨林的
模型预测准确率 > 99%, 召回率 > 95% 模型预测准确率 > 99%, 召回率 > 95%

该模型准确率高,大大降低假正率,减轻人工验证假正率负担。” - RFCx COO

RainForest Connection是一家致力于通过技术保护雨林的非营利性组织,他门通过将废弃手机改装为太阳能监听设备,采集数据上传到云端进行AI识别电锯声音并发出警报,以保护热带雨林免遭非法砍伐。

案例原文:用聆听拯救雨林https://www.huawei.com/cn/technology-insights/cases/rainforest-connection

基于ModelArts的安全驾乘方案

  • ModelArts上训练的人形检测模型,部署到智能摄像头上,可以检测道路上的行人。

ModelArts功能介绍

                             
  • 全栈、全流程、全场景

  • 统一管理、统一调度

  • 支持业界主流引擎和自研引擎,实现零成本迁移

  • 提供多维度功能特性,满足各类用户

  • 繁多的AI工具安装配置、数据准备、模型训练慢等是困扰AI工程师的诸多难题。

  • ModelArts是一站式开发平台,能够支撑开发者从数据到AI应用的全流程开发过程。包含数据处理、模型训练、模型管理、模型部署等操作,并且提供AI Gallery功能,能够在市场内与其他开发者分享模型。

  • ModelArts支持应用到图像分类、物体检测、视频分析、语音识别、产品推荐、异常检测等多种AI应用场景。


自动学习

自动学习功能介绍

  • ModelArts自动学习是帮助人们实现AI应用的低门槛、高灵活、零代码的定制化模型开发工具。

  • 自动学习功能根据标注数据自动设计模型自动调参自动训练自动压缩部署模型

  • 开发者无需专业的开发基础和编码能力,只需上传数据,通过自动学习界面引导和简单操作即可完成模型训练和部署

ExeML 引擎ExeML 引擎

三步创建AI模型

  • ①上传并标注数据
  • ②训练模型
  • ③验证并发布模型
  • 图像分类:识别图片中物体的类别。
  • 物体检测:识别出图片中每个物体的位置和类别。
  • 预测分析:对结构化数据做出分类或数值预测。
  • 声音分类:对环境中不同声音进行分类识别。
  • 文本分类:识别一段文本的类别。

开发环境

  • 软件开发的历史,就是一部降低开发者成本,提升开发体验的历史。
  • 在AI开发阶段,ModelArts也致力于提升AI开发体验,降低开发门槛。
  • ModelArts开发环境,以云原生的资源使用和开发工具链的集成,目标为不同类型AI开发、探索、教学用户,提供更好云化AI开发体验。

ModelArts CodeLab(JupyterLab)

  • 让AI探索&教学更简单
特性特性 CodeLab主页CodeLab主页
  • 云原生Notebook,案例内容秒级接入与分享
  • Serverless化实例管理,资源自动回收
  • 免费算力,规格按需切换

ModelArts Notebook

  • 云上云下,无缝协同
特性特性
  • 代码开发与调测。云化JupyterLab使用,本地IDE+ModelArts插件远程开发能力,贴近开发人员使用习惯
  • 云上开发环境,包含AI计算资源,云上存储,预置AI引擎
  • 运行环境自定义,将开发环境直接保存成为镜像,供训练、推理使用

数据管理

  • 数据管理平台提供了聚类分析数据特征分析数据清洗数据校验数据增强数据选择等分析处理能力,可帮助开发者进一步理解数据和挖掘数据,从而准备出一份满足开发目标或项目要求的高价值数据
手工标注&智能标注手工标注&智能标注

训练平台

  • Turbo模式
    • 资源闲时自动扩容,提高分布式并发水平,加速10倍训练速度(2hour缩短到10min)
  • Economic模式
    • 优化调度模式,将更多的训练任务紧凑部署到资源池中,价格下降30%

ModelArts高性能分布式训练优化点

  • 自动混合精度训练(充分发挥硬件计算能力)
  • 动态超参调整技术(动态 batch size、image size、momentum 等)
  • 模型梯度的自动融合、拆分
  • 基于BP bubble自适应的计算,通信算子调度优化
  • 分布式高性能通信库(nstack、HCCL)
  • 分布式数据-模型混合并行
  • 训练数据压缩、多级缓存

推理平台

模型部署:端、边、云全场景AI部署

模型仓库:多厂商、多框架、多功能模型统一纳管

AI Gallery

  • 网址
    • https://developer.huaweicloud.com/develop/aigallery/home.html

供需桥梁,共筑AI生态社区

学习

开发

落地

- END -
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。