华为Hetu：三板斧搞定数据虚拟化

    Hetu引擎，是华为打造的数据虚拟化平台，它致力于解决越来越多的公司与组织在实现大数据解决方案时遇到的各种问题，降低大数据准入门槛，为客户提供安全、高效、易用的数据虚拟化服务。

    近年来，希望在公司中部署或正在研发大数据解决方案的公司越来越多，但在实际使用中，用户对于使用大数据解决方案的满意度却在下降。

    通过分析，我们发现存在的问题主要包括如下几点：

1）数据来源复杂，数据类型多样，存在数据逻辑和和物理隔离；

2）大数据分析性能较差，无法提供实时分析以支持更及时有效的业务决策；

3）数据安全问题严重，存在数据隐私泄露风险。同时，为了避免泄露导致的巨大损失，在数据分析中构建了多种壁垒，对数据联合分析形成阻碍；

    华为Hetu，能够协助用户打破数据壁垒，消灭数据烟囱，实现全域统一元数据和安全权限的统一管理，支撑端到端数据管理，快速实现数据价值

    Hetu引擎，可以为用户提供如下服务和价值：

一、“大道至简，万法归一”

标准SQL，统一接口

（1）通过SQL 2003标准接口，提供统一的虚拟数据访问层（数据虚拟化当前业界也都是起步，该领域市场空间大），实现面向数据湖的统一SQL访问接入服务，单一SQL查询支持100TB数据量；

（2）实现分钟及安装部署，即时可用，零学习成本，现有数据库使用者可马上使用。实现北向生态完美支持AI、BI、应用、工具无缝对接，形成完整的工具链。

一份数据，减少冗余

（1）    支持异地、异构（不同格式）的数据源接入，当前业界面对异地数据源接入的能力都比较弱，对于异构我们针对接入数据源种类的支持会更加广泛；

（2）    开源统一数据格式，存储原生支持包括CarbonData在内的大数据文件格式，支持ACID

二、“天下武功，唯快不破”

极致性能，优化项：

低时延

1、提供近实时的数据分析能力，除增强引擎外，增加跨源索引、虚拟数仓、物化视图，覆盖1+sec 以上的应用场景。增加内存处理，实现100+ms以上应用场景支持

2、相比Spark SQL，在典型即席查询场景执行时间降低3x；同时基于AQP（模糊查询）算法聚合查询，相比没有AQP，性能提升5x；

三、“行走江湖，安全第一”

    随着大数据应用日益广泛，数据的安全性越来越受到重视，隐私泄露对个人及企业影响巨大，各国隐私法律法规也日益趋严。

    在实际使用过程中，用户对于数据隐私泄露的担忧，已成为大数据分析中的主要障碍。

    1. Hetu引擎以机器学习、深度学习为基石，内置AI training 支持，实现Schema自动识别补齐，自动纠错，提升数据质量。

    2. 通过数据脱敏、敏感数据分类分级、文本水印三大安全模块为基础，构建数据可信及隐私保护的金字塔。在保证数据分享及使用过程中数据安全的同时做到数据的高隐秘性、高完整性及高可用性。

（1）    数据脱敏

支持100+种基本脱敏算法（掩码、枚举、洗牌等），保证基本脱敏需求；支持多种高阶脱敏算法 （泛化、微聚合、差分等），保证脱敏需求的同时大幅提升数据质量；通过聚类分析、上位词解析自动构建语义层次，深入理解数据语义

（2）    敏感数据分类分级

自动检测敏感信息（支持中英文、数字100+种敏感数据），解决手工识别的客户痛点，当前查准率、查全率均达90%以上；自动数据分类分级 （敏感度级别可配置）；支持结构化、非结构化数据

（3）    文本水印

文本水印不修改原始数据，最大程度保证水印后数据的可用性；通过行噪音、列噪音、不可见字符等多种算法协同工作保证所嵌入水印的隐蔽性，保证提取水印时鲁棒性、可溯源性；当前算法可有效防止常见攻击手段，例如子集修改、子集选取、合谋攻击等。