数据处理，标注，分析“ModelArts人工智能应用开发指南” 学习分享

数据处理（效验，转换，清洗，选择，增强）

数据处理的目的是让开发者在模型训练之前拿到质量更高的数据集，以提升精度，降低模型训练成本

1，数据效验和转换

数据效验（对数据可用性进行判断和验证的过程）

采集的数据是否有格式的问题，图像名称，后缀不满足训练算法的要求，可能无法识别，和无法解码等情况，因此，数据的效验非常重要，数据的标注格式可能也有很多种。

ModelArts数据处理模块提供数据效验功能，对于图像数据，判断标注格式是否相符合要求，图像分辨率是否符合要求，图像通道是否符合算法要求，图像解码是否正常，图像名称和后缀是否满足规范

数据转换（对数据进行规范化处理）

数据转换是指数据大小，格式，特征等进行变换的过程，数据转换是为了使数据更适合算法选择和模型训练，使数据充分利用

如图像有JPEG,PNG等格式，为了满足算法输入要求的格式，比如算法要求图像都是PNG格式，就要将不同的图像格式转换成PNG格式，这就需要转换格式并进行必要的数据整理

数据清洗（数据进行去噪，纠错或补全的过程）

1，离散化（针对连续的场景特征取值） 2，无量纲化（保持特征之间的公平性，提高模型精准度） 3，缺失值补全  4，分布变换（对数变换，指数变换等） 5，变量解码（文字，字母，频率等）

数据选择（特征提取，聚类排序，选择最优子集）

数据增强

数据增强通过缩放，裁剪，变换，合成等操作直接或者间接增强数据量，进而进一步提升模型的训练精度，结构化数据和非结构化数据都可以做数据增强

数据增强可以分为，离线数据增强和在线数据增强

数据增强的常见方法

1，空间几何变换

旋转

翻转变换

缩放变换

平移变换

尺度变换

2，像素和特征变换

对比度变换

噪声扰动

颜色变化

3，样本合成

SamplePairing

MixUp等

选择数据处理，在选择分类等，数据处理类型，选择数据集的输入与输出等

选择场景以及数据处理类型

创建完成

数据标注

现今大多数人工智能算法依旧是依赖监督学习，所以数据标注非常重要

1，标注任务分类（与实际场景密切相关），比如，图像分类标注，目标检测标注，图像分割标注，点云标注

ModelArts通用标注工具，矩形框，多边形，圆形，点，线等

常用的文本相关标注任务如，文本分类标注，命名体识别标注，三元组标注，词法分析标注，命名体识别标注，机器翻译标注等

如上百万张图像大量的图像数据标注，不仅费时而且消耗大量的人力成本及资源，为了减少标注消耗的时间同时降低标注成本，ModelArts在标注中加入了机器学习技术并为标注者提供了智能数据标注服务

1，基于主动学习的智能数据标注

标注者仅需少量的数据作为训练集来训练模型，再用训练好的模型对未标注的数据进行推理

2，交互式智能标注（1，交换式目标检测注  2，交换式分割标注 3，交换式视频标注 4，其他交换式智能标注）

先创建数据集（一定选择北京四哦）

数据集名称可自动生成，也可以手动输入自己需要的名称，再选择场景，类型等，输入位置比如，food，输出位置比如，out等

完成数据集创建

点击名称进入数据集，便可进行，标注，团队标注（数据集庞大时建议使用），标注完成后便可发布，还可以导入新的数据，修改等操作

数据集较为庞大时，建议使用智能标注，建议每种标注数量十几张以上时再使用智能标注

选择智能标注的类型以及算法类型

数据分析

对数据整体的统计分析，以及对单个数据进行细粒度分析诊断，才可以更加深入地了解数据，及时发现更深层次的问题并优化

1，数据集特征分析和优化

特征分析主要是更快速方便的了解数据集的特点，并制定后续的优化和处理方案，ModelArts特征分析模块主要支持特征，分辨率，图像亮度，图像饱和度，清晰度，图像色彩丰富等常规图像特征，面积标准度，堆叠度等

选择数据集版本，在选择类型，在根据自己需要的指标进行查看

选择自己需要的数据集版本

选择类型

清晰度

图片高度比

分辨率

图像亮度

图像彩色的丰富程度

图片的饱和程度

全选一目了然