【云小课】EI第13课 ModelArts 数据预处理：轻松优化您的数据集

数据反映了真实世界的状况，没有高质量的数据，最好的算法也无济于事。创建一个更好的数据集对AI开发有至关重要的意义，但是一个高质量的数据集需要开发者投入巨大的时间与精力。还在为散乱无章的数据发愁吗？还在为训练没有更多数据发愁吗？还在为处理数据投入大量时间发愁吗？ModelArts数据预处理功能集成了大量数据处理算法，为您提供一个更好的数据集。

初识ModelArts数据预处理

当数据采集和接入之后，数据一般是不能直接满足训练要求的。ModelArts平台提供的数据预处理功能帮助您从海量的数据中抽取或者生成有价值、有意义的数据，为您后续的数据标注、模型训练保驾护航。

ModelArts为您提供以下四种类型的数据预处理：

• 数据清洗

数据清洗是指对数据进行去燥、纠错或补全的过程。数据清洗是在数据校验的基础上，对数据进行一致性检查，处理一些无效值。例如在深度学习领域，可以根据用户输入的正样本和负样本，对数据进行清洗，保留用户想要的类别，去除用户不想要的类别。

图中，花朵数据集经过数据清理后去除了样本中非花朵的图片。

• 数据选择

数据选择一般是指从全量数据中选择数据子集的过程，可以通过相似度或者深度学习算法进行选择。数据选择可以避免人工采集图片过程中引入的重复图片、相似图片等问题；在一批输入旧模型的推理数据中，通过内置规则的数据选择可以进一步提升旧模型精度。

图中，花朵数据集经过数据选择后去除了相似和重复图片。

• 数据校验

数据校验是指对数据可用性的基本判断和验证的过程。ModelArts支持对图片和标注进行可用性校验：

♦图片类数据校验

♦标注类文件数据校验

• 数据增强

数据增强用于训练数据集不足或需要仿真的场景。他通过数据扩增、数据生成方式对已有的数据集完成指定的变换操作，实现增加数据量的目的。

ModelArts提供以下算子扩增您的数据集：

图形化界面实现数据预处理

ModelArts为用户提供简单的图形化界面，您只需要动动鼠标，就能完成指定的数据预处理任务。

1. 上传您的数据集至OBS。OBS是MordelArts存储数据的仓库。上传点这里。
2. 创建数据预处理任务，您需要填写下图中的参数，详细介绍点这里。

   

3. 等待几分钟后任务完成，您可以查看日志和结果展示。

更多ModelArts数据预处理介绍

1. 数据预处理简介
2. 数据增强：使用数据增强，解决数据不足和数据集不均衡的情况
3. 数据校验：给你的数据做个体检吧
4. 数据选择：使用数据选择，去除重复数据
5. 数据清洗：数据清洗去除您的数据集中无关类别