ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。“一站式”是指AI开发的各个环节，包括数据处理、算法开发、模型训练、模型部署都可以在ModelArts上完成。从技术上看，ModelArts底层支持各种异构计算资源，开发者可以根据需要灵活选择使用，而不需要关心底层的技术。同时，ModelArts支持Tensorflow、PyTorch、MindSpore等主流开源的AI开发框架，也支持开发者使用自研的算法框架，匹配您的使用习惯。ModelArts的理念就是让AI开发变得更简单、更方便。本文主要介绍零基础玩转AI，使用ModelArts全搞定。

一、AI开发的挑战与难点

众所周知，人工智能是一种新的通用目的技术(GPT)，横跨整个经济的多种用途，其拥有巨大的技术性互补和溢出效应。

如今，AI已经进入实用阶段，但AI落地却存在两难两缺。AI开发难：算法更新快，选择难、调优难；AI行业落地难：数据获取难，行业知识沉淀难，知识计算难；AI算力稀缺：AI模型训练花费不菲；AI人才短缺：AI人才严重不足，分布不均。

二、ModelArts总结架构

2.1 华为云EI:全栈全场景产品&服务，助力千行百业智能升级

为了顺应时代的趋势和结合全球AI市场，华为自主研发了ModelArts。ModelArts是面向开发者的一站式AI开发平台，可快速创建和部署模型，管理全周期AI工作流，助力千行百业智能升级。

2.2 ModelArts架构简介

整体上看，ModelArts面向人群可分为两大部分，面向开发者和面向企业用户。它有以下的特点：

全栈、全流程、全场景：

• 软硬结合优化方案

• 提供端到端AI开发体验

• 端边云联合开发、部署

统一管理、统一调度：

• 支持主流 (X86、GPU)和自研 (鲲鹏、异腾)芯片

• 支持万节点计算集群管理

• 支持资源秒级调度，按斋使用训练任务性能提升30%

支持业界主流和自研引擎，实现零成本迁移：

• 主流引擎: TensorFlow，PyTorch，MXNext，Caffe等

• 白研引擎: MindSpore，MoXing

• 支持自定义镜像

提供多维度功能特性，满足各类用户：

• 初学:自动学习、预置算法、工程模板等，降低AI开发难度

• 深度:数据增强、模型诊断、联邦学习等，提升AI开发效率

• 算法开发: Notebook Colab (云上)，PyCharm ToolKit (云下)

灵活能力组合，Know-how有效复用：

• 通过Workflow组合多种能力，固化重复流程，使ML可迭代(Continuous Training)

• 多角色协同开发且各司其职，让算法工程师可以发布生产级AI应用

2.3 基于内置大模型+WorkFlow降低端到端AI开发门槛

了解完ModelArts架构后，我们来探讨下大模型。大模型应对AI应用碎片化趋势，大模型成为了AI领域开发新范式。

2.4 华为云盘古大模型总览

大模型是新一轮AI发展的核心，其已在推进产业智能化升级中已表现出巨大潜力，并将在未来三年里形成风起云涌之势。华为云于2021年正式发布了盘古基础大模型，包括CV计算机视觉大模型、NLP自然语言处理大模型和科学计算大模型等。

2.5 盘古CV大模型

以海量图片 (10亿+)，视频信号 (>10T)为输入，利用无监督训练策略对海量知识进行归纳抽取训练得到的模型，具备强大视觉表征能力。视觉预训练大模型+细分场景微调，可以极大减少开发成本以及调试代价。

2.6 多模态任务型大模型覆盖4个典型应用场景，让创作更加多元化

多模态任务型大模型覆盖4个典型应用场景：文生图，图生图，图片编辑，概念注入图像生成。

2.7 盘古气象大模型-3D高分辨率AI气象预报方法

2.8 华为云盘古气象大模型，大幅提升气象预测速度与精度

以气象大模型为例，华为盘古气象大模型的核心价值如下：

• 可在10秒内给出未来七天的天气预测结果，这比传统天气预报提速10000倍以上。

• 可实现20公里范围内、小时级、13层最高精度气象预报，如台风生成时间与移动轨迹的预测准确率达85%以上。

• 将应用于航空/航天、海运、农业、交通出行、新能源等行业产生更多价值。

三、端到端AI开发流程

3.1 端到端AI开发流程

端到端AI开发流程包含：开发调试，模型训练，模型评估，服务测试，在线服务，ML工作流，服务监控，服务管理。

3.2 端到端AI开发流程——算法开发

• 代码开发与调测。本地IDE+ModelArts插件远程开发能力。贴近开发人员使用习惯

• 云上开发环境，包含AI计算资源，云上存储，预制AI引擎

• 运行环境自定义。将开发环境直接保存成为镜像，供训练、推理使用

3.3 端到端AI开发流程一-模型训练

• 平台:具备一定自愈能力，未知错误对于用户透明化，训练调优效率提升2倍以上

• 日志:支持实时日志，支持基于持久存储的历史日志上传、下载(包含批量下载)、预览、搜索(基本功能)

• 容错:支持10余种训练前的预检查工具，支持作业训练中自动重试

3.4 端到端AI开发流程——模型部署

• 统一管理

支持多厂商多框架多功能模型统一纳管

部署支持高并发、低延时访问，并支持弹性伸缩，灰度发布、滚动升级

• 灵活部署

支持各种部署场景，既能部署为云端的在线推理服务和批量推理任务，也能部署到端，边等各种设备

大模型在线推理及模型秒级快速更新，适配快速迭代的业务场景

• 性能提升

通过自研推理框架，屏蔽底层软硬件差异，提升推理运行性能

• 迭代式模型更新

支持数据采集/难例挖掘，自动识别难例，快速适应数据变化

3.5 端到端AI开发流程一一服务测试

3.6 端到端AI开发流程-工作流构建

开发

1. 用户体验:面向开发者，提供Python SDK低代码编排体验，支持本地调试能力，实验记录管理；

2. 基于DevOps原则和实践，应用于AI开发过程中，提升AI应用开发效率；更快的模型实验和开发，更快的将模型部署到生产；

3. 易于复用及二次开发:通过组件和Workflow复用及二次开发，快速创建端到端解决方案，而无需每次重建。

运行

1．可视化操作界面，低门槛使用；

2．嵌入AI能力工作流，可自主更新模型；

3. 多样评估可视化，帮助理解模型效果；

4. 面向行业的AI Gallery用例库。

3.7 端到端AI开发流程一-服务管理

3.8 零代码AI开发使能行业应用(智慧零售)

华为云智慧访销解决方案，实现智慧新零售。

3.9 零代码AI开发使能行业应用 (工业质检)

华为云声音识别方案，通过刀具状态识别算法实现刀具使用效率提升。

某客户是目前中国乘用车转向系统业务规模最大、市场占有率最高、集开发制造为一体的高新技术企业，主要从事汽车转向系统及关键零部件的开发、生产、组装和销售，客户涵盖大众、通用、吉利、上汽乘用车等逾40家整车厂。

3.10 零代码AI开发使能行业应用 (工业字符识别)

华为云智能水表识别系统，开启智慧水务新科技大门。Al的高速发展，冲击了许多传统行业，为了适应时代潮流、节省人力成本、加快智能化、数字化转型，智慧水务进入新时代。

客户需求：1. 表盘多要素识别；2. 自主训练适配多种表盘样式；3. 对每个要素识别精度高。针对客户需求，相应有以下的解决方案：1.协助客户对水表数据合理分类；2.算法定制，仅针对已知数据集范围承诺精度；3.workflow定制开发，使能客户自主训练，算法可复制拓展。

四、案例实操

接着，会进行下案例实操。

4.1 AI Gallery

首先，我们介绍下AI Gallery，它是华为云 AI 知识& 实训社区，助你从0到1成为 AI 开发达人!

4.2 持续沉淀AI领域的知识和经验

4.3 案例实操

具体实践:使用AIGallery的订阅算法实现花卉识别，按照下面链接即可详细进行操作：https://support.huaweicloud.com/bestpractice-modelarts/modelarts 10 0025.html

综上所述，我们主要介绍了4点内容：1.AI开发的挑战与难点2.ModelArts总结架构3.端到端AI开发流程4.案例实操。

本文参与华为云社区【内容共创】活动第24期。

任务23：2023华为开发者大赛 · 大赛大咖说系列直播： 零基础玩转AI，ModelArts全搞定