【转载】主流大数据厂商激烈角逐湖仓一体新架构，华为云引领技术潮流 --来自InfoQ推荐

2021年上半年，湖仓一体俨然已经成为大数据领域最火热的流行词，各大云厂商推出自己的湖仓一体产品，在众多产品中，企业如何找到符合自身需求的数据管理产品？

近日，国际权威分析机构弗若斯特沙利文 Frost & Sullivan（以下简称“沙利文”）发布了《2020 年中国数据管理解决方案市场报告》，对中国主流大数据厂商从产品创新能力、成长能力、基础能力三个维度进行了全面评估。华为云凭借 FusionInsight 的持续创新位居中国数据管理解决方案领导者，并在中国大数据厂商中全面领先。

沙利文用 Frost Radar（弗若斯特雷达）清晰明了地展示中国数据管理解决方案市场态势。横坐标代表“创新指数”，体现服务丰富度和产品调优能力；纵坐标代表“成长指数”，衡量产品功能和性能的竞争力，色深代表“基础指数”，体现大数据平台基础能力。

华为云位居右上角的领导者区间，三项指标均领先国内其他大数据厂商，其主打解决方案华为云 FusionInsight 智能数据湖是获得沙利文认可的关键。

报告还指出，预计到 2024 年，中国大数据硬件市场规模为 111 亿美元，中国大数据软件市场规模为 162.3 亿美元，中国大数据整体市场规模即为两者之和——273.3 亿美元，即将到来的百亿级美元市场，考验着数据管理厂商的能力边界。

在行业发展的不同阶段，数据管理解决方案所要面临的主要矛盾截然不同，此前数据管理解决方案的重点分别是数据的数量、种类和速度，现阶段企业对数据管理解决方案的需求，逐渐聚焦于数据如何支撑重要决策，并不断促使数据管理解决方案走向湖仓一体，提升企业的数据价值创造力。

数据仓库与数据湖是企业经常会使用到的两种数据管理解决方案，数据仓库到数据湖的演进并不是替代关系，数据仓库诞生较早，借鉴了数据库的数据理念，通过预先定义 schema，将结构化数据清洗提炼，提供数据服务和管理能力。

数据湖则诞生于半结构化、非结构化数据的海量增长背景之下，以原始形态存储数据并且逐渐发展数据处理能力，成为可以运行不同类型的大数据工具，对数据进行大数据处理、实时分析和机器学习等操作的统一数据管理平台。

在面对愈发复杂的大数据场景时，数据仓库与数据湖各自的弊端显现，也就有了湖仓一体产品的诞生，相较于单一使用数据湖或数据仓库，湖仓一体将两者的优势兼容并蓄。湖仓一体的数据管理解决方案具备事务支持、数据的模型化和数据治理、BI 支持、存算分离、灵活开放、支持多种数据类型、支持各种工作负载、端到端流等特性，此外，数据的安全和访问控制也十分重要，契合云计算时代企业的业务模型。

华为云 FusionInsight 智能数据湖为政企客户提供“湖仓一体”的解决方案，提供 MRS 云原生数据湖、GaussDB(DWS) 云数据仓库、DGC 数据湖治理中心、GES 图引擎、DLI 数据湖探索等云服务，用于离线分析、实时分析、数仓集市、交互查询、实时检索、多模分析、数据接入治理、图计算等海量数据分析场景，实现政企客户一企一湖、一城一湖的业务模式。

大数据平台的发展历史就是一部企业探索数据价值的历史，当业务发展与现有技术产生矛盾，总会有新的技术浮现，Spark、Flink、Hudi、ClickHouse、HetuEngine 等等技术尽皆如此，大数据平台不断查漏补缺，最终由单点式的工具演变为全栈式的系统。

传统数据管理解决方案一般部署在通用服务器之上，近年来数据仓库和数据湖的整体上云趋势愈演愈烈，美国市场还诞生出一些备受关注的独角兽企业，而在中国市场，云化部署也成为数据管理解决方案的大趋势。

沙利文报告提出，大数据云化部署方案将成为主流。在存算分离理念的基础上，云化服务完美应对了弹性扩展、功能迭代、成本控制等需求，在资源需求差异化的场景中实现资源的合理配置。同时，按客户业务需要，弹性发放的云化服务显著节约了使用等待时间。

华为云得以进入领导者区间，很大程度上也是因为其覆盖数据全生命周期的全栈式数据管理能力，由采、存、算、管、用的全面云化，再到湖仓一体的一站式融合分析，FusionInsight 智能数据湖提供的湖仓一体架构，帮助客户构建一企一湖、一城一湖。

华为云 FusionInsight 湖仓一体架构提供灵活的多样性算力和存算分离方案，符合当下的企业需求。MRS 云原生数据湖实现了一个架构可构建逻辑、实时、离线 3 种数据湖，HetuEngine 提供跨湖、跨仓、跨云的协同分析，Hudi 支持 ACID 数据实时增量入湖，提供 ClickHouse 毫秒级 OLAP 分析、Flink 批流合一等实时处理能力，离线数据湖拥有交互式、BI、AI 等多个计算引擎，一个平台实现海量数据多场景分析。

GaussDB(DWS) 云数据仓库同时具备分析及混合负载能力，具有高性能、高扩展、高可用等特点，广泛应用于汽车、制造、零售、互联网、金融、政府、电信等行业核心分析决策系统。

DGC 数据湖治理中心是一站式数据开发集成管理平台，包含数据架构、标准规范、数据开发、数据质量等功能，支持 40+ 异构数据源、全拖拽开发，效率提升 3 倍，助力企业快速构建从数据接入到分析的 E2E 数据治理体系，统一数据标准，加速数据资产沉淀。

GES 图引擎是中国首个商用的、拥有自主知识产权的原生图产品，具备多项自主专利。针对以关系为基础的图结构数据，应用于社交 APP、关系分析、物流配送、知识图谱等场景。

数据湖探索 DLI 提供 Serverless 的融合处理分析服务，企业使用标准 SQL、Spark、Flink 就可轻松完成多数据源的联合计算分析，挖掘和探索数据价值。

伴随数据管理解决方案的底层设施逐渐成熟，技术升级和服务应用场景拓展的加速及深化，数据管理解决方案行业应用逐渐向各领域的核心业务延伸，数据管理解决方案产品与应用场景融合加深。

华为云 FusionInsight 智能数据湖深入各行业客户需求，已经规模商用湖仓一体创新技术方案，以数据驱动各行业业务增长。据了解，华为云 FusionInsight 客户覆盖全球 60 多个国家 3000 多家客户，覆盖政府、金融、运营商、电力、传媒、医疗、教育、交通、油气、物流、零售、制造等行业。

在政务领域，在政务数字化参与部委、各省市智慧城市、数字城市建设。在某市，华为云 FusionInsight 联合伙伴建成“一云二网三平台”，针对民生、产业、政府的“痛点”和“难点”，从构建城市数据资源库为开端，以大数据分析支撑政府智慧决策，在 “数聚惠民”、“数聚兴业”、“数聚善政”三大方面，支撑 “一号、一窗、一网” 政务服务，让简政放权、百姓办业务“最多跑一次”成为现实。

在金融领域，华为云 FusionInsight在工商银行、建设银行、招商银行等银行、证券、保险行业广泛应用。在某行使用华为云 FusionInsight 构建大数据基础平台，支撑了一湖两库建设，保障银行 BI、AI、数据挖掘、数据分析等日常数据分析，实现全行即时 BI，加速银行数字化转型进程。

在运营商领域，已覆盖国内三大运营商以及海外运营商客户。其中广东移动基于华为云 FusionInsight，联合政企客户共同打造智慧电网、智慧港口、高清视频等系列标杆应用，打通数据全生命周期链路，实现对内业务支撑、对外应用赋能，全面支撑了各类政务、民生等大数据应用服务。

面向大企业客户，覆盖能源、交通、制造等行业客户大数据平台建设。其中深圳地铁采用华为城轨云解决方案，利用云计算、大数据、5G、人工智能等技术核心，建立了统一、开放、智能的城轨数字平台，利用华为云 FusionInsight MRS 云原生数据湖能力构建深圳地铁大数据分析平台，在智慧车站、智慧运维方面，对新技术与地铁场景进行创新融合，推进了车站业务全日自动运行、线上线下一体化客服、设备主动检测、健康管理等应用，探索数字化、高效化的新业务模式，为城市提供更优质的公共交通服务。

随着 IoT、AI 等新技术的大量应用，未来 4 年里数据量将激增 4 倍，到 35 年呈 50 倍增长。在政企数字化转型的过程中，湖仓一体将是政企客户实现一企一湖、一城一湖的最佳选择，使得业务洞见更准，数据价值兑现更快。华为云等厂商所倡导的湖仓一体，将持续引领2021年大数据领域技术创新潮流，让我们拭目以待。