我对ModelArts的了解

举报
yd_240251770 发表于 2023/08/03 22:25:22 2023/08/03
【摘要】 ModelArts是华为云提供的一站式AI开发平台,提供数据处理、算法开发、模型训练、AI应用、管理等功能模块,帮助用户快速创建和部署模型,管理全周期AI工作流。 ModelArts具有低门槛、高效率、高性能、易运维等优势,可以应用于游戏、工业、机器人、科研等多个行业和领域。 ModelArts提供Notebook、Codelab、Jupyterlab等多种开发环境,支持多种主流框架和算法库。

华为云ModelArts:一站式AI开发平台

什么是ModelArts?

ModelArts是华为云提供的一站式AI开发平台,为机器学习与深度学习提供海量数据预处理及交互式智能标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。

ModelArts的主要功能模块包括:

  • 数据处理:提供数据采集、智能标注、数据增强等能力,帮助用户构建高质量的数据集。
  • 算法开发:提供Notebook、Codelab、Jupyterlab等多种开发环境,支持多种主流框架和算法库,以及可视化工作流、强化学习、天筹求解器等高级功能,帮助用户快速实现算法原型和优化。
  • 模型训练:提供弹性训练、超参自动调优、模型溯源等能力,支持GPU、昇腾分布式异构集群,提高训练效率和性能。
  • AI应用:提供AI应用仓库、模型评估、模型转换、模型优化等能力,支持端-边-云协同部署,实现AI应用的快速上线和运维。
  • 管理:提供资源管理、任务管理、团队协作等能力,实现AI开发全流程的可视化管理和监控。

为什么选择ModelArts?

ModelArts具有以下优势:

  • 低门槛:开箱即用,零基础3步即可构建AI模型。
  • 高效率:AI开发全流程可视化管理,生产效率百倍提升。
  • 高性能:自研MoXing框架,极致提升开发效率和训练速度。
  • 易运维:灵活支持多厂商多框架多功能模型统一纳管。

ModelArts有哪些应用场景?

ModelArts可以应用于多个行业和领域,例如:

  • 游戏:通过强化学习训练出不同风格和水平的对战机器人,丰富游戏体验。
  • 工业:通过数据分析和预测性分析,实现智能工厂的制造、运输、销售等流程的优化和自动化。
  • 机器人:通过端云协同的感知-认知-决策全链路打通,实现机器人的智能控制和导航。
  • 科研:通过盘古大模型和天筹求解器,实现科学计算和复杂问题的求解。

如何使用ModelArts?

使用ModelArts非常简单,只需以下几个步骤:

  1. 注册华为云账号,并登录ModelArts控制台。
  2. 根据需求选择相应的功能模块,例如数据处理、算法开发、模型训练等。
  3. 在相应的功能模块中创建任务,并配置相关的参数和资源。
  4. 运行任务,并查看任务状态和结果。

下面以一个简单的图像分类任务为例,介绍如何使用ModelArts进行AI开发。

数据处理

首先,我们需要准备一个图像分类的数据集。我们可以使用ModelArts提供的数据采集功能,从网络上爬取一些图片,也可以使用自己的图片。为了方便起见,我们直接使用ModelArts提供的一个公开数据集,叫做flowers,包含了5种花的图片,每种花有80张图片。

我们可以在ModelArts控制台的数据管理页面,点击公共数据集,找到flowers数据集,并将其导入到自己的OBS桶中。OBS是华为云提供的对象存储服务,可以用来存储和管理数据。

导入完成后,我们可以在我的数据集中看到flowers数据集。我们可以点击查看详情,查看数据集的信息和内容。

接下来,我们需要对数据集进行标注,即给每张图片打上对应的花的类别。我们可以使用ModelArts提供的智能标注功能,自动完成标注。我们只需要在数据集详情页面,点击创建标注任务,选择图像分类作为标注场景,并配置相关的参数,如标注名称、标注类型、标签列表等。

创建完成后,我们可以在标注管理页面,查看标注任务的状态和结果。我们可以看到,ModelArts已经自动完成了所有图片的标注,并给出了准确率和召回率等指标。

我们可以点击查看详情,查看每张图片的标注结果,并进行修改或确认。

当我们确认所有图片的标注结果后,我们就完成了数据处理的步骤。

算法开发

接下来,我们需要开发一个图像分类的算法。我们可以使用ModelArts提供的Notebook功能,创建一个交互式的开发环境。我们只需要在ModelArts控制台的开发环境页面,点击创建Notebook,选择Python 3作为内核,并配置相关的参数和资源。

创建完成后,我们可以在Notebook管理页面,打开Notebook,并开始编写代码。为了方便起见,我们直接使用ModelArts提供的一个预置算法样例,叫做图像分类-ResNet-50。这是一个基于ResNet-50模型的图像分类算法,可以对输入的图片进行分类。

我们只需要修改一些参数,如数据集路径、类别数、训练轮数等,并运行代码即可。代码运行过程中,会输出一些日志信息和指标信息,如损失函数、准确率等。

代码运行完成后,会生成一个模型文件,并保存到OBS桶中。这样,我们就完成了算法开发的步骤。

模型训练

接下来,我们需要对模型进行训练,以提高模型的性能和泛化能力。我们可以使用ModelArts提供的弹性训练功能,创建一个分布式训练任务。我们只需要在ModelArts控制台的训练作业页面,点击创建训练作业,并配置相关的参数和资源。

创建完成后,我们可以在训练作业管理页面,查看训练任务的状态和结果。我们可以看到,ModelArts已经自动启动了多个训练实例,并进行了分布式训练。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。