“ModelArts人工智能应用开发指南” 人工智能应用开发数据准备学习分享

数据准备

数据准备是非常重要的一个环节

数据准备在现实准备中，面临着各种问题（数据采集难，数据质量差，数据冗余性大，标签少，数据分析难，人工采集成本大等）数据准备不仅重要，且花费工作量非常大，往往在项目开发中，数据相关的工作量占据80%，算法模型准备占据20%

ModelArts在数据管理方面提供了一系列智能化数据服务，大大降低开发成本，提高开发效率

1，数据采集（数据采集是开发人工智能应用时面临的首要问题）

数据采集涉及，图像，视频，音频，结构化表格数据及环境信息等，对于实际应用和模型而言，数据越大越丰富，算法所达到的效果就越好（没有好的数据集，再好的算法，也达不到预期的效果），对深度学习而言，数据量越大，模型表现越好。

数据采集的方法可分为几种  1，终端设备采集 （摄像头，无人机，移动设备等）2，网络数据采集（合法合规的情况下，自动捉取数据） 3，基于搜索的数据采集（从已有的数据库中搜索出类似的图像）

2，对于大企业大规模数据的体现 1，数据来源具有分散性 2，数据储存具有多样性3，数据具有多模态属性 4，数据采集具有较强的业务相关性

数据接入 （批量接入，实时流接入）对于已经采集好的数据，要进行大规模的进行分析，建模，则需要将数据接入应用开发平台上。

批量接入，华为CMD，云数据迁移（一键式将数据在不同的存储之间做平滑迁移）

实时流接入，华为 DIS，数据接入服务（一键式将数据迁移到云上）DLI，数据湖探索（对接不同数据） DWS 数据仓库服务 DDS文档数据库服务

OBS对象储存服务（稳定、安全、高效、易用的云存储服务，具备标准Restful API接口，可存储任意数量和形式的非结构化数据）

OBS在ModelArts实战开发环节中经常使用

OBS资源是服务中存在的对象。在OBS中，资源包括桶和对象，可以在创建自定义策略时，通过指定资源路径来选择特定资源