华为云 ModelArts：从数据准备到模型上线的 AI 开发实践

华为云 ModelArts：从数据准备到模型上线的 AI 开发实践

摘要： 华为云魔坊（ModelArts）模型训推平台提供覆盖数据准备、算法开发、模型训练、评测和部署的 AI 开发工具链。本文以企业构建产品缺陷识别应用为例，介绍 ModelArts 的核心能力与开发思路，并讨论数据质量、训练管理和上线验证等工程要点，为 AI 项目从实验走向业务应用提供参考。

开发一个 AI 应用，通常需要处理数据、配置环境、训练模型，再把模型部署成业务系统可以调用的服务。各环节之间涉及的数据路径、框架依赖和算力配置，都会影响项目进度。华为云 ModelArts 将这些环节整合到同一个平台，提供覆盖模型开发全生命周期的工具链，并支持 MindSpore、PyTorch、TensorFlow 等主流框架。官方产品介绍

假设一家制造企业希望识别产品表面的划痕和破损，可以围绕这一目标设计完整的开发流程。下面是一个应用设计示例，用来说明平台能力如何与业务任务结合。

首先，把原始数据整理成可用的训练材料。 企业采集的图片可能存在重复、模糊、光照不一致和标签错误等问题。如果直接投入训练，模型容易学习到与缺陷无关的特征。ModelArts 提供数据连接与数据处理能力，可支持不同来源数据的导入，并通过相关工具进行清洗和加工。官方功能介绍

在这个示例中，开发团队应先明确缺陷分类与标注规则，再划分训练集、验证集和测试集。同一件产品连续拍摄的相似图片，应尽量避免跨集合分布，否则测试结果可能偏高，难以反映模型面对新产品时的识别能力。

接下来，在开发环境中验证算法，再提交训练任务。 ModelArts 提供 Notebook 开发环境，可以通过 JupyterLab 在线操作，也支持借助 SSH 配合本地 IDE 远程开发。团队可以先使用少量样本，确认图片读取、标签解析和模型输出符合预期，再扩大训练规模。官方开发环境说明

训练阶段需要关注实验的可复现性。每次实验都应记录数据版本、代码版本、学习率、批次大小和模型权重位置。当识别效果发生变化时，才能判断原因来自数据调整、参数变化还是代码修改。ModelArts 提供训练任务及分布式训练能力，开发者可以根据模型规模和任务需求配置相应资源。官方训练概述

模型评估应围绕业务代价展开。 对缺陷识别而言，整体准确率无法说明所有问题：漏掉严重缺陷，可能比误判一个正常产品带来更大损失。因此，除了准确率，还应关注各类缺陷的召回率、误报率，以及不同光照和拍摄角度下的表现。对于低置信度结果，可以在业务流程中安排人工复核。

模型通过验证后，还需要部署成可调用的推理服务。ModelArts 支持在线、批量和边缘等推理部署形态，团队可以根据响应时延、数据处理方式和现场条件选择部署路径。官方部署能力介绍

实际接入生产系统时，应同时确认输入图片格式、预处理逻辑和输出字段，保证训练与推理使用一致的数据处理方式。上线后持续收集误判样本，结合人工复核结果更新数据集，再重新训练和验证，能够让模型逐步适应新的产品类型与生产环境。对于首个项目，先选定一种产品、少量缺陷类别和明确的验收指标，更容易形成可验证、可迭代的开发流程。