通信领域数据治理漫谈之数据管理服务

通信行业是最早展开信息化改造的行业之一。作为数据管道，在运营过程中积累了大量数据，包括通信基础设施数据、运营数据以及由其衍生的预算、财务等各类数据。这些数据日积月累的沉淀积累到通信运营商的IT系统中，如何让这些花费大量成本收集到的数据产生价值，支撑业务创新，解决痛点，产生效益是亟需解决的问题。然而，通信领域数据价值密度低，数据来源多，数据格式多，场景复杂，运营商凭借一己之力很难全部搞定。是否可以有一家通信领域经验丰富，能够提供端到端技术支撑的企业协助运营商，高效地分析治理通信数据，并解决通信业务中的问题？

与此同时，我们已经真正来到了Data时代，并正在迈向AI自动的未来。要让人工智能技术真正可以发挥预期的作用，大数据又是至关重要的条件，因为数据和特征决定了机器学习的上限。只有获取更为准确、及时、一致的高质量数据，才能提供高可靠、高价值的智能化服务。根据埃森哲在2018年4月的一份调研发现，中国制造企业在运用人工智能技术时面临一系列挑战。其中，52%的受访中国企业将数据质量列为突出挑战，数据安全与网络安全紧随其后（47%）。

未来5年，通信行业将成为全球最大的AI市场，而有效的通信数据治理是无法绕开的槛。

华为NAIE(原SoftCOM AI)的数据湖解决方案以元数据驱动，基于华为在通信领域大规模的研发经验和服务经验，以及部署网络的经验，以业务case为突破点，提供通信领域数据模型，辅以一套简单易用的数据治理工具服务，帮助运营商在最短时间内构建可支撑业务的通信领域数据湖。

其中，针对网络自动驾驶提供多领域数据模型，覆盖网络、能源、云核等多个领域，同时解决跨域数据共享问题，统一数据的业务解释口径，帮助领域外的数据使用者快速准确理解数据的本质。当前NAIE数据湖已提供500+数据模型，支撑了20+的AI项目，通过治理过后的高质量数据，使能机器学习算法和模型取得较好的效果。

华为NAIE数据湖方案中的数据资产管理服务对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。下面将详细介绍华为NAIE数据资产管理服务相关功能。

提供使用简易的元数据管理工具，配备可视化界面配置表和字段，帮助用户在多种类型数据仓库中快速开发数据模型。

提供向导式的数据集成可视化操作界面，提供“拖拉拽”的图形化开发模式，内置多种计算算子，通过流程组合和参数配置，零编码即可快速构建数据集成业务流程。

针对通信领域数据特点，基于不同业务场景内置不同质量监控程序，对生产数据进行实时监控和管理，当出现脏数据时实时终止数据处理流程，防止数据污染扩散。

除了数据质量问题，数据治理的另一个重点要求是数据安全。需要提供各种安全防护手段，确保数据的合法合规使用。华为NAIE(原SoftCOM AI)数据资产管理服务提供多种方法比如数据脱敏、敏感信息检测、数据权限控制等。

帮助数据拥有者对数据定密定级，对数据使用者做到字段级别权限控制。

基于GDPR要求，系统预置多种数据脱敏方案，帮助用户快速完成对数据的脱敏诉求。

提供敏感数据检测能力，基于预置的规则，快速发现数据中的敏感信息。

检测规则配置：

最后，结合通信领域业务场景数据特点，NAIE(原SoftCOM AI）数据资产管理服务从加快人工智能应用创新和开发角度出发，提供时序数据标注服务和数据探索服务，帮助样本标注效率提升，从而缩短训练数据集准备周期。

帮助数据开发工程师/算法专家快速发现时序数据中的不同点，增加数据的业务知识，将数据转换为样本，帮助机器学习进行训练，提升模型效果。

发现不同数据集之间的关联关系。通过编写SQL（结构化查询语言）的方式就可以对多种数据源进行联合查询操作，包括：HIVE（基于Hadoop的一个数据仓库工具）、HDFS（Hadoop分布式文件系统）、OBS（华为云对象存储系统），并可以实现异构数据源联合查询。

查询返回的结果以excel方式展现，并支持通过内置函对返回页面的数据进行探索，并通过数据可视化，帮助数据使用者轻松发现数据的规律。

华为NAIE(原SoftCOM AI）数据资产管理服务通过华为在通信领域长久积累下的经验，帮助运营商以快捷、高效、低成本的方式治理好数据，并形成数据湖，支撑通信网络迈向自动驾驶。