华为云FusionInsight MRS打造技术领先、越用越快、越用越省、越用越易、越用越稳的数据湖

     10月30日，以“携手共赢·数创未来”为主题的第二届数据分析技术与应用高峰论坛在深圳举行。会上，华为云大数据高级营销经理王宁进行了主题演讲 “华为云FusionInsight MRS跨越技术裂谷，助力客户实现一企一湖，一城一湖”。

大数据技术创新焦点已转向LakeHouse，企业创新焦点已转向湖仓一体

         “智能数据时代，随着大数据技术的愈发成熟和5G、AI、IoT技术的规模商用，政企客户需要商业诉求与技术创新的双轮驱动，实现数字化转型。企业构建技术领先的大数据平台，选择具有竞争力的数字底座至关重要。面向数字化转型中的政企客户，近年来，华为云大数据积极与世界同步，持续创新，致力于打造技术领先的数字底座，让大数据越用越快、越用越易、越用越稳、越用越省！把复杂留给自己，把简单留给伙伴，助力客户数字化转型成功！” 王宁分享到。

        2011年以后随着信息化的浪潮和大数据的成熟，企业开始利用大数据等技术构建数据湖，满足多样性数据的存储，数据湖虽然适合存储数据，但缺少一些支撑业务的关键能力：比如不支持实时增量更新，不支持事务，无法实时分析等。客户为应对呈指数级增长的数据资产，采用大规模、高效率、一站式多场景的数据处理系统的需求越来越迫切。到2020年，大数据技术创新趋势的焦点已转向LakeHouse、企业创新焦点已转向湖仓一体。数据湖向Data LakeHouse发展，基于数据湖实现与数仓类同的数据结构和数据管理能力；数据湖、数据仓库向融合分析架构发展，Hadoop与MPPDB具备数据共享和跨库分析能力，支持互联互通、计算下推、协同计算，让大数据与数仓互联互通、协同计算，兼顾过去与未来！华为云大数据技术与世界同步，积极拥抱开源，汲取全球顶尖大数据实践经验，封闭使人落后，其他主流厂商在近年来主动拥抱开源。大数据开源、开放技术仍在蓬勃发展，以前，驾驭大数据“三驾马车”可转遍大数据的池塘，现如今，大数据技术已发展成一片海洋，社区已具有100+开源项目，大数据技术创新进入深水区。现在大数据不仅限于Hadoop生态，已是多种主流数据处理技术的集合，在不同场景有着丰富的组件进行支撑，在2020年Hive、Spark支持了事务和实时更新，补齐了数据湖的短板。

华为云打造技术领先的云原生数据湖，实现一企一湖，一城一湖

        作为技术创新、市场份额双领先的数据湖，华为云FusionInsight MRS具备3个硬核能力：

        让政企客户在一个大、快、融、稳的架构下持续演进

        大：传统大数据单集群扩容受限，往往扩容到2000节点就难以突破，存在分割集群运维复杂、成本高、资源利用率不高、关键任务无法保障等问题。华为云FusionInsight MRS通过大集群突破扩展性瓶颈，支持最大2万+节点大集群，还可集群联邦无限扩容，让政企客户在一个架构上持续演进。

        大规模特性已在华为内部实践。华为云流程IT通过FusionInsight构建OneData大数据集群，其规模已至1万+节点，支撑各部门运营分析、即席查询等大数据分析，每日新增数据近100TB，10万张表，即席查询任务日均1万+，批处理作业每日10万+。华为流程IT OneData大集群历经两次滚动升级，业务0中断，已稳定运行六年。华为云FusionInsight MRS最大单集群可支持2万规模超大集群，让客户的业务系统稳如磐石，10年无忧！

        快：华为云大数据打破性能瓶颈， 直面客户业务构建主题数据，分析链路短，越用越快，无需等待！传统大数据存在“慢、难、贵”的问题，数据链路长，事后报表为主；FusionInsight MRS通过Hudi实时增量更新同步数据，使流处理写入ClickHouse完成毫秒级热数据即时分析，让大数据分析从此无需等待。       

        在金融某行，行内集群总计100+节点，总数据量1PB，每天更新10万张表，通过FusionInsight MRS实现PB级数据实时同步，100+节点数据入库时间从12小时降至1小时以内。

        融：消除数据孤岛，五大融合，跨源跨域跨引擎融合分析，让数据分析越来越简，消除数据孤岛，无需冗余！传统大数据分析面临类型多、分布散、协同难等问题；FusionInsight MRS通过HetuEngine实现五大融合，统一SQL接口仅用简单的SQL就可操作PB级数据，全民BI，让大数据越用越简单！

        某行基于FusionInsight MRS构建金融大数据，通过HetuEngine统一SQL接口，解决数据分散，组件多、语言多等难题，降低技术开发门槛，跨源跨域跨引擎融合分析，数据免搬迁，降低整体TCO。

        稳：数据的增长是无限的，小集群总会成长为大集群，一个技术领先、可平滑升级、可持续演进的底座非常重要。FusionInsight MRS可保障一企一湖连续性，在线滚动升级，业务永远在线，无需拆集群、搬应用，彻底解决传统大数据集群多、效率低、管理难、升级难等问题，让升级过程中关键业务不中断，确保业务连续性，稳如磐石。

        某运营商使用FusionInsight MRS搭建了大数据平台应对5G数据浪涌，先后两次滚动升级实现了大数据平台的平滑演进，实现业务无中断，升级无感知，用户体验持续在线，单集群规模已扩展至1500+节点，支撑了各类政务、旅游、精准扶贫等200+大数据应用服务，覆盖用户1.3亿+，让客户业务永不停、服务永在线、技术永最新！

        实时数据湖

        实时数据湖LakeHouse，基于Hudi支持数据实时批量入湖、实时增量同步，融合跑批数据进行T + 0实时分析，全量数据供应效率T+0；基于ClickHouse实现贴源数据实时多维分析，分析链路短，分析效率高，走向实时数据湖，让数据价值近在眼前！

        云原生数据湖

        具有统一的元数据和存算分离等云原生特性。通过Data Lake Catalog数据湖目录，为超大规模分析引擎提供统一元数据服务，让数据全局可视可得；在数据存储方面，通过OBS存算分离方案，实现存储与计算资源的解耦分离，按需扩容，基于企业级EC实现最低1.2副本，总体TCO下降20%+，让数据每bit成本更优！湖内提供交互式分析引擎，可无缝对接BI报表和自助分析，实现秒级用数，数据免搬迁；湖内统一SQL接口，降低技术开发门槛，简化用数，实现技术领先的云原生数据湖。

一企一湖的云原生数据湖，已是政企客户的标准底座，一站式支撑全场景高效分析

        通过以上特点，华为云FusionInsight MRS新一代的数据湖，让大数据越用越快、越用越易、越用越稳、越用越省！让数据价值近在眼前！

华为云FusionInsight MRS坚定开放路线，坚持回馈社区，持续投入，与世界同行，技术永新

        基于华为云大数据强大的创新能力，在业内成绩斐然，持续多年获得权威调研机构的认可。华为云引领大数据技术发展，理解客户不断发展的业务诉求，持续高强度投入10多年，拥有专利超过500余件，关键领域PMC、Committer占比50%。同时，华为云大数据坚持平台+生态战略，与合作伙伴一起服务全球政企客户。华为云FusionInsight MRS坚定开放路线，与世界同行，持续投入，做好数字世界的黑土地。同时，我们坚持将好的经验，持续在华为云大数据社区为大家开放，让大江大洋也阻隔不了勇攀大数据技术高峰的决心。华为云FusionInsight MRS把“复杂”留给自己，把“简单”留给伙伴，共建社区繁荣生态，联合800+ISV，共创共赢，助力政企数字化转型成功！

华为云FusionInsight联合800+伙伴，共创共赢，加速政企数字化转型

        近期，IDC将公布中国大数据管理平台厂商评估报告，华为云大数据凭借多年的行业深耕与技术引领，相信也将交出一份满意的答卷。

        华为云FusionInsight MRS已成为60+国家地区、3000+客户数字化转型的共同选择，广泛应用于政府、运营商、金融、能源、医疗、制造、交通、互联网等多个行业，释放海量数据价值，用数据驱动业务增长，助力政企客户实现“一企一湖，一城一湖”！