【云驻共创】ModelArts：一站式AI开发平台
前言
ModelArts是面向AI开发者的一站式开发平台，提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成，及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期AI工作流。
一、ModelArts服务介绍
介绍ModelArts之前先介绍一下华为的AI解决方案，华为为开发者提供全栈的解决方案，从底层开始华为提供Ascend系列芯片，可用于不同需求的场景；往上就是CANN算子库，是高度自动化的算子开发工具；在AI开发框架方面，华为提供MindSpore框架，MindSpore是支持端、边、云独立和协同的统一训练和推理框架；再往上华为提供ModelArts集成式开发工具。
“一站式”是指AI开发的各个环节，包括数据处理、算法开发、模型训练、模型部署都可以在ModelArts上完成。从技术上看，ModelArts底层支持各种异构计算资源，开发者可以根据需要灵活选择使用，而不需要关心底层的技术。同时，ModelArts支持Tensorflow、PyTorch、MindSpore等主流开源的AI开发框架，也支持开发者使用自研的算法框架，匹配您的使用习惯。
模型训练过程中需要大量已标注的数据，因此在模型训练之前需要进行数据标注作业。ModelArts支持人工标注、智能标注、团队标注三种标注方式，对于不同类型的数据，用户可以选择不同的标注类型。当前ModelArts支持如下类型的标注作业：图片（图像分类、物体检测、图像分割）、音频（声音分类、语音内容、语音分割）、文本（文本分类、命名实体、文本三元组）、视频（视频标注）。
数据标注任务中，一般由一个人完成，但是针对数据集较大时，需要多人协助完成。ModelArts提供了团队标注功能，可以由多人组成一个标注团队，针对同一个数据集进行标注管理。团队标注功能当前仅支持“图像分类”、“物体检测”、“文本分类”、“命名实体”、“文本三元组”、“语音分割”类型的数据集。
除了人工标注外，ModelArts还提供了智能标注功能，快速完成数据标注，为您节省70%以上的标注时间。智能标注是指基于当前标注阶段的标签及图片学习训练，选中系统中已有的模型进行智能标注，快速完成剩余图片的标注操作。
ModelArts平台提供的数据处理功能，基本目的是从大量的、杂乱无章的、难以理解的数据中抽取或者生成对某些特定的人们来说是有价值、有意义的数据。当数据采集和接入之后，数据一般是不能直接满足训练要求的。为了保障数据质量，以免对后续操作（如数据标注、模型训练等）带来负面影响，开发过程通常需要进行数据处理。
基于图片或目标框对图片的各项特征，如模糊度、亮度进行分析，并绘制可视化曲线，帮助处理数据集。还可以选择数据集的多个版本，查看其可视化曲线，进行对比分析。目前只有“图片”的数据集，且版本标注类型为“物体检测”和“图像分类”的数据集版本支持数据特征分析。“图像分类”支持分析指标有：“分辨率”、“图片高宽比”、“图片亮度”、“图片饱和度”、“清晰度”和“图像色彩的丰富程度”。“物体检测”支持所有的分析指标。
ModelArts自动学习是帮助人们实现AI应用的低门槛、高灵活、零代码的定制化模型开发工具。自动学习功能根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型。开发者无需专业的开发基础和编码能力，只需上传数据，通过自动学习界面引导和简单操作即可完成模型训练和部署。当前自动学习支持快速创建图像分类、物体检测、预测分析、声音分类和文本分类模型的定制化开发。可广泛应用在工业、零售安防等领域。
ModelArts为初学者提供了大量的预置算法，方便初学者能够快速上手进行AI模型开发，降低了模型开发的门槛。开发者可以不关注模型的算法开发部分，直接使用AI Gallery的算法，通过算法参数的调整，得到一个满意的模型。
ModelArts支持多种开发方式，可以使用交互式Notebook建模，支持多种开发语言，在训练模型时可以通过ModelArts调用GPU/CPU等多种训练资源，减少模型训练过程中对本地资源的要求，同时ModelArts支持多种算法开发框架。ModelArts提供导向配置式训练，方便初学者熟悉开发过程。
AI Gallery是在ModelArts的基础上构建的开发者生态社区，提供了Notebook代码样例、数据集、算法、模型等AI数字资产的共享，为高校科研机构、AI应用开发商、解决方案集成商、企业级/个人开发者等群体，提供安全、开放的共享及交易环节，加速AI资产的开发与落地，保障AI开发生态链上各参与方高效地实现各自的商业价值。
二、ModelArts服务应用场景
ModelArts主要有以下的服务应用场景：图像识别、视频分析、语音识别、异常检测。
2.1图像识别
图像识别能够准确识别图片中的物体信息，常用的场景有车型识别、动物识别、花卉识别等。ModelArts能够提供丰富的图像分类/图像语义分割模型算法，基于预置算法进行模型训练有利于帮助开发者提升训练效果和训练速度。
2.2视频分析
视频分析能够准确分析视频中的关键信息，比如人脸识别、车辆特征识别等，ModelArts能够提供丰富的视频检测/视频语义分析模型算法，基于预置算法进行模型训练有利于帮助开发者提升训练效果和训练速度。
2.3语音识别
语音识别就是让机器理解语音信号，协助处理语音信息，适用于智能客服问答、智能助理等，ModelArts提供丰富的自然语言处理算法，基于预置算法进行模型训练有利于帮助开发者提升训练效果和训练速度。
2.4异常检测
异常检测就是在网络设备运行中，用自动化的网络检测系统，根据流量情况实时分析，预测可疑流量或可能发生故障的设备。
三、ModelArts典型客户案例
雨林的面积是很大的，所以由人工的方式进行动物识别的工作量是很大的，华为云推出的解决方案是将动物的声音收集完成后通过ModelArts进行数据标注，然后通过自动学习进行模型训练，然后将模型部署至边缘服务器中，该案例能够大大减少人力资源的消耗，减少工作人员的工作量。
该案例是华为和上海交通大学联合举办的无人车大赛比赛场景，小车上搭载HiLens，通过华为云ModelArts进行模型开发，然后将开发好的模型部署到HiLens上面，HiLens搭载欧拉操作系统，CPU为Hi3559A，同时搭载昇腾310 AI芯片。
该案例是一个蛋糕店收银解决方案，该案例主要是为了解决商店里非标商品类别识别，因为非标商品需要人工进行识别并收银，效率低，成本高；该案例是通过ModelArts的自动学习服务完成，最终的模型效率高，识别精度高。
四、如何使用ModelArts服务
4.1注册华为云帐号
在使用华为云服务之前您需要注册华为云帐号。通过此帐号，只需为使用的服务付费，即可使用所有华为云服务。进入华为云官网，参考帐号注册指导及界面提示信息，完成帐号注册。注册成功后即可自动登录华为云，您需要完成“实名认证”才可以正常使用服务。
4.2配置访问授权（全局配置）
ModelArts使用过程中涉及到OBS、SWR等服务交互，需要用户配置委托授权，允许Modelarts访问这些依赖服务。若没有授权，ModelArts的部分功能将不能正常使用。
登录ModelArts管理控制台，在左侧导航栏选择“全局配置”，进入“全局配置”页面。单击“添加授权”，进入“访问授权”页面，根据参数说明进行配置。
4.3创建OBS桶
ModelArts使用对象存储服务（Object Storage Service，简称OBS）进行数据存储以及模型的备份和快照，实现安全、高可靠和低成本的存储需求。因此，建议您在使用ModelArts之前先创建一个OBS桶，然后在OBS桶中创建文件夹用于存放数据。
对象存储服务OBS是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。对象存储服务OBS的基本组成是桶和对象。桶是OBS中存储对象的容器，每个桶都有自己的存储类别、访问权限、所属区域等属性，用户在互联网上通过桶的访问域名来定位桶。对象是OBS中数据存储的基本单位。对ModelArts来说，OBS服务是一个数据存储中心，因为ModelArts本身目前没有数据存储的功能。AI 开发过程中的输入数据、输出数据、中间缓存数据都可以在OBS桶中进行存储、读取。因此，在使用ModelArts之前您需要创建一个OBS桶，然后在OBS桶中创建文件夹用于存放数据。
登录OBS管理控制台，在桶列表页面右上角单击“创建桶”，创建OBS桶。例如，创建名称为“c-flowers”的OBS桶。
在桶列表页面，单击桶名称，进入该桶的概览页面。单击左侧导航的“对象”，在对象页面单击新建文件夹，创建OBS文件夹。例如，在已创建的OBS桶“c-flowers”中新建一个文件夹“flowers”。
下面是三个案例，可以根据案例文档进行操作体验，用案例来感受模型开发过程。
1.零代码人车检测模型开发：
2.使用FasterRCNN预置算法基于海量数据训练人车检测模型：
3.物体检测YOLOv3实践：
五、ModelArts服务路标
2020年3月ModelArts上线免费的算力资源，同时上线ModelArts Pro；2020年4月ModelArts 提供存储发放（屏蔽 OBS )方便线下代码迁移线上、Ascend 310芯片能力可用、适配鲲鹏云、昇腾910集群公测；2020年6月Ascend 910算法网络完善、支持弹性分布式训练、ModelArts支持优化引擎，适配运筹优化服务、ModelArts云服务上线华为云App；2020年8月沉浸式体验全量上线、架构彻底解耦，算法类更新直接上线，不依赖服务版本。
本文参与华为云社区【内容共创】活动第16期。
- 点赞
- 收藏
- 关注作者
评论（0）