华为云FusionInsight MRS云原生数据湖,一架构三湖,解密华为云FusionInsight MRS组件新特性

举报
IT老磨 发表于 2021/05/24 09:44:30 2021/05/24
【摘要】  5月20日,本人在“华为云TechWave云原生2.0专题日”上发表《华为云FusionInsight MRS,一个架构实现三种数据湖》的主题演讲,分享了智能数据时代的数据湖发展趋势、MRS云原生数据湖技术创新实现一个架构构建离线、实时、逻辑三种数据湖,以及业务实践中的成功案例等。进入智能数据时代,业界建设数据湖的十大共识       经过数十年的快速发展,大数据处理技术已日渐成熟,围绕数...

 5月20日,本人在“华为云TechWave云原生2.0专题日”上发表《华为云FusionInsight MRS,一个架构实现三种数据湖》的主题演讲,分享了智能数据时代的数据湖发展趋势、MRS云原生数据湖技术创新实现一个架构构建离线、实时、逻辑三种数据湖,以及业务实践中的成功案例等。

进入智能数据时代,业界建设数据湖的十大共识

十大共识1.PNG

       经过数十年的快速发展,大数据处理技术已日渐成熟,围绕数据仓库、数据湖衍生技术多如繁星,业界在多年的探索之中,也对未来数据湖形态有了十个重要共识,湖仓一体成为智能数据湖的首选架构。为应对智能数据时代对大数据技术提出的新挑战,华为云FusionInsight MRS云原生数据湖进行全面升级,引入了Hudi、ClickHouse热门组件,加强了自研的HetuEngine虚拟化引擎,同时新增IoTDB时序处理的能力,拓展数据使能应用的边界。

华为云FusionInsight MRS云原生数据湖

一架构三湖图片.PNG

       华为云FusionInsight MRS云原生数据湖为政企客户提供湖仓一体、云原生的数据湖解决方案,构建一个架构可持续演进的离线、实时、逻辑三种数据湖,支撑政企客户全量数据的实时分析、离线分析、交互查询、实时检索、多模分析、数据仓库、数据接入和治理等大数据应用场景,使政企客户高效用数、简化用数,助力政企客户实现一企一湖、一城一湖,业务洞见更准,价值兑现更快。

  • 离线数据湖:提供交互式、BI、AI等多个计算引擎,采用OBS实现存算分离,使得云原生数据湖的架构更灵活。支持单集群2万+节点的超大规模,通过集群联邦,可支持10万+规模。支持滚动升级,保障关键业务升级不中断。
  • 实时数据湖:通过Hudi支持ACID数据实时增量入湖、ClickHouse毫秒级OLAP分析等构建实时更新处理能力,使得供数时效从T+1到T+0。
  • 逻辑数据湖:HetuEngine提供跨湖、跨仓、跨云的协同分析,实现湖仓一体,减少80%数据搬迁,协同分析提效50倍。

一架构三湖新特性,覆盖数据分析全流程

  • Hudi:增量实时入湖,实现数据入湖时效快、开发易、性能高、资源利用率更高

       传统数据湖不支持数据更新,导致数据采用T+1离线处理模式,完全无法满足灵活多变的业务诉求,针对数据时效性问题,华为云FusionInsight MRS云原生数据湖引入Hudi。

       Hudi可以支持数据更新、数据删除,还有ACID保证,保证数据实时入湖更新操作。它提供多种视图,包括读优化视图、增量视图、实时视图,可以对不同的分析应用提供不同的视图,基于这些技术可轻松实现增量表、拉链表,镜像表这些数据存储模型。引入Hudi后,带来四大显著效果:

  1. 数据时效更快:在业务系统,通过CDC的系统实现分钟级数据入湖,数据时效性从T+1到T+0。
  2. 处理性能更高:面对数据有删除、更新的场景下,传统采用Hive更新方式,仅处理一行数据也可能需要对整个表,至少要对整个分区进行处理,引入Hudi后处理效率提升10倍+。
  3. 开发更简单:对于开发人员来说,传统数据入湖不支持更新或者删除,开发人员需新建临时表,将数据处理后再进行覆盖,对同一个任务可能需要写很多代码去完成,有了Hudi的加持之后,做一个数据更新的操作就跟使用数据库一样简单,单条语句即可完成。
  4. 资源利用率更高:传统T+1的模式并不是24小时跑任务,而是在晚上进行批量加工,早上出报表,整个处理过程中,计算高峰期仅晚上跑批的时间,而资源却是按照高峰期的计算需求来配比,导致白天的资源利用不足,引入Hudi后,数据实时采集入湖,把入湖处理的工作分散到全天的过程,实际上把整个资源消耗的高峰和低峰抹平掉。

       某金融客户基于Hudi构建数据湖,数据入湖时延降至分钟级,且白天资源利用率提升2倍+,数据处理效率提升50%,开发人员通过单条语句即可完成开发,简化开发难度。

  • ClickHouse:实时OLAP引擎,实现报表全自助高性价比的实时分析

       传统的OLAP引擎因其处理能力有限,数据一般按照专题或者主题进行组织后再与BI工具对接,导致BI用户和提供数据的数据工程师脱节。比如BI用户有一个新的需求,所需的数据没有在专题集市中,需要将需求给到数据工程师,以便开发相应的ETL任务,这个过程往往需要部门间协调,时间周期长,协作效益低。

       现在,华为云FusionInsight MRS云原生数据湖可以将所有明细数据以大宽表的形式加载ClickHouse,BI用户可以基于ClickHouse大宽表进行自助分析,对数据工程师供数要求少,甚至在面对大部分新需求时,无需重新供数,开发效率和BI报表上线率都会得到极大提升。同时,ClickHouse在一张表里的数据分析可达毫秒级。

       基于ClickHouse实现自助BI在华为内部实践也获得了很好的效果。华为集团HIS数据湖原来基于传统OLAP引擎建模,受限于开发效率,几年才上线了几十个报表。在引入Clickhouse后,三个月时间开发上线了400+报表,业务上线效率提升50倍。目前,华为内部ClickHouse的整体使用规模已经达到2000+节点,数据量规模达10+PB,日增数据量100TB。

  • HetuEngine:数据虚拟化引擎,突破地理限制,打破数据“墙”

       伴随企业发展与数字化转型的需求,企业业务越来越复杂,创新需求越来越高。单系**立工作难以满足业务的变化需求,企业内可能同时存在多个湖、多个仓、多个系统,但传统方案烟囱式建设,湖仓之间、多引擎之间无直接的互联互通能力,需要通过ETL数据来回搬迁,造成数据流转链路长,数据多份冗余,产生数据孤岛。系统多份数据冗余也难以保证数据的一致性和可靠性。

       为了让数据使用更简单,跨湖协同更容易,解决湖仓数据割裂的问题,华为推出了数据虚拟化引擎HetuEngine,实现跨湖、跨仓和云上、云下、多云协同分析的能力,突破地理限制,打破数据“墙”,跨湖协同分析效率提升50倍,跨仓协同分析减少80%的系统间数据搬迁同步,分析性能从分钟级提升至秒级。

       金融某行通过引入HetuEngine数据虚拟化引擎,在数据湖查询分析方面该行提升了并发能力,仅1/5的资源即可支持45并发,峰值并发最大达200QPS,平均时延优化到8秒;在湖仓协同分析方面,通过HetuEngine打通数据湖与数仓间的数据壁垒,湖仓协同分析性能从分钟级提升至秒级,同时减少80%的系统间数据搬迁同步,大大提升数据治理效率。

  • IoTDB:时序数据库,云边端协同轻松构建时序数据集市

时序数据具备两大特点:在端、边、云都有处理,时序数据采集后不需要更新。传统时序处理方案中,在端、边、云采用不同的技术栈,异构的技术栈必将带来数据处理的复杂性。清华大学开发的时序数据库IoTDB(又称时序引擎),通过统一的时序数据文件格式TsFile,实现一份数据兼容全场景,一套引擎打通云边端、一套框架集成云边端。华为跟清华大学保持紧密的合作,最新发布的IoTDB集群版本,就是华为与清华主导开发的一个版本。

       在上海、成都、重庆等城市均已采用IoTDB管理地铁监控数据,原本144辆列车需要9台服务器,现在仅需一个IoTDB实例即可满足要求,测点的采样时延也从原来的500ms降至200ms,日增4140亿数据点管理,大大提升资源利用率。

结语

       目前,华为云FusionInsight MRS云原生数据湖携手800+生态伙伴,已服务于3000+政企客户,广泛应用于公用事业、金融、运营商、能源、医疗、制造、交通等行业。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。