华为云FusionInsight MRS赋能新云原生企业，加速政企数字化转型

12月30日，华为云TechWave云原生2.0峰会在深圳顺利举行。在此次大会上，华为云FusionInsight首席架构师徐礼锋出席并做主题演讲“华为云FusionInsight MRS云原生数据湖构建一企一湖、一城一湖”。

华为云FusionInsight首席架构师徐礼锋做主题演讲

     华为云FusionInsight MRS云原生数据湖为政企客户海量数据提供大数据解决方案，支持大数据实时分析、离线分析、交互查询、实时检索等应用场景，助力政企释放海量数据价值，实现一企一湖、一城一湖，业务洞见更准，价值兑现更快！

       HC2020由华为云CTO张宇昕在峰会上重磅发布了华为云FusionInsight新一代智能数据湖，原FusionInsight HD与华为云MRS强强结合，架构、内核归一，全面升级到FusionInsight MRS云原生架构，将为客户提供以下更具竞争力的云原生数据湖：

1.     OBS大数据存算分离方案：首先，相较传统大数据存算一体化方案，软硬件解耦，提供更高性价比、更灵活的OBS大数据存算分离方案。OBS+大数据将计算与存储资源按需灵活扩容，避免资源浪费，OBS采用企业级EC，传统大数据需3副本，华为提供最低1.2副本的大数据存算分离解决方案，存储利用率从33%提升至80%+，使得整体TCO降低60%+。其次，OBS大数据存算分离方案将数据统一存储在OBS，数据在一个支持多协议共享，实现多引擎共享，数据免搬迁；同时，全局一套数据，统一数据管理，从而降低了运维的难度。最后，在性能方面，OBS大数据存算分离方案通过算子下推、软硬件调优，与同等成本的集群相比，性能提升30%+。

2.     Data Lake Catalog统一数据目录：相较传统数据孤岛，DLC统一全局数据视图，让元数据全局可见。DLC还兼容Hive MetaStore，性能超越其3~5倍，在保持高性能的前提下，实现数据的全局可视。

3.     BMS裸金属服务器：相较传统虚拟机部署，性能零损耗。其兼具大数据所需资源弹性，更是做到分钟级发放。同时，华为云大数据具备独家的SDI技术，基于擎天加速卡，拥有超低时延，可做到100%释放完整算力，让大数据分析、计算等高CPU、高内存、高IO等计算密集型场景如虎添翼。

     新版本的FusionInsight MRS云原生数据湖除过以上云原生优势，还在以下5个方面持续发力：

1.     快：基于MRS可构建实时数据湖，湖内建仓，一份数据支持全场景，缩短分析链路，加速数据分析全过程。首先，在数据入湖方面，通过Hudi实现全量数据的T+0实时增量更新；其次，在数据集市构建方面，通过ClickHouse实时OLAP能力构建大数据实时数据湖，基于Kimball直面业务构建主题数据，湖内建仓将数据的贴源加工、整合关联、主题加工过程都在湖内完成，一份数据支持数据应用全场景，缩短数据加工链路；通过HetuEngine实现数据虚拟化访问，统一SQL接口，简化用数，全民BI！经实测，在某客户营销业务场景下（大表多表关联场景）使用HetuEngine，较传统大数据性能提升10倍！

2.     融：助力客户从孤岛建设方式向云原生数据湖演进，提供跨源、跨域、跨引擎融合分析，数据免搬迁。

3.     大：支持最大2万+节点大规模集群，可集群联邦无限扩容。

4.     稳：支持在线滚动升级，无需拆集群、搬应用，使客户一个架构持续演进，十年无忧；支持资源隔离，业务互不影响；支持两地三中心高可用灾备，确保业务连续性！

5.     开放：华为云FusionInsight MRS积极拥抱开源，与世界同行，已获专利500+；具有20+开源PMC&Committer，先后开放CarbonData和openLooKeng等组件。

        同时，华为云FusionInsight MRS作为最懂行的大数据解决方案，拥有雄厚的技术研发实力，深入了解客户场景痛点，为政企数字化转型提供最坚实的数据底座，连续多年获得了客户和权威机构的认可。在IDC MarketScape报告中，华为云位居领导者(Leaders)象限，并在市场份额和技术实力两个维度双领先！2020年，华为云FusionInsight已连续四年入选中国大数据企业50强，并荣获金融行业大数据最佳解决方案奖、中国信息通信大数据行业影响力奖、中国大数据平台类最佳解决方案奖。

截止2020年11月，华为云FusionInsight MRS云原生数据湖已广泛应用于政府、金融、运营商、大企业、互联网等行业，携手800+合作伙伴，服务于全球60+国家和地区3000+政企客户。

 在金融领域，国内50%的TOP20金融客户(含银行、证券、保险等)均已使用华为云FusionInsight MRS构建其大数据平台。金融某大行之前使用传统大数据的三副本存储性价比低，往往10PB的存储空间，有效容量仅3PB；同时存在存储、计算等资源不均衡，往往存储利用率超过70%，但CPU利用率不足50%，扩容时需要计算、存储资源一起扩容，存在资源浪费现象；该金融客户使用FusionInsight后，实现了大数据平台与OBS对象存储服务的对接，在保证性能的前提下，实现了计算与存储独立按需扩容，提升整体资源利用率，TCO降低60%。

在运营商领域，国内三大运营商均使用华为云FusionInsight MRS构建其大数据平台。广东移动大数据平台的集群规模已超1500节点，日均处理作业21万+，承载业务达200+，其中包括对内精准营销、收入稽核，对外广告投放等关键业务，服务连续性需求较高。而大数据技术迭代快，传统升级方式需断电、重启等操作，升级操作复杂，运维繁琐，影响现网业务运行，且大集群升级耗时长，突发故障易中断升级动作。为了保持业务的连续性和技术引领，广东移动通过华为云FusionInsight MRS滚动升级能力，实现大集群分批次滚动升级，业务0中断；故障节点隔离功能确保升级动作的稳定运行，实现7*24小时不间断服务；1000+精细化运维指标及可视化操作简化运维，实现一个架构持续演进。

在交通领域，深圳地铁在6、10号线采用华为云FusionInsight MRS构建大数据分析平台，打造领先的5G+大数据方案，并构建其数据资产中心和运行监控中心，承载地铁各业务系统，支撑设备健康、能耗管理、客流统计、线路中心级监控、应急决策和图像型火灾分析等线路级数据分析，数据分析效率从周级缩短至分钟级，实现高效运营，推动深圳步入更美好的全联接数字化轨道交通新时代…

除过在以上各行业的应用，在环境保护方面，青海绿能数据有限公司基于华为云FusionInsight MRS构建了国内首个能源大数据创新平台，实现了规划辅助决策、用气象数据科学指导发电等创新业务，为上下游产业链企业提供25类47项数据服务，推动28座新能源场站实现了“无人值班、少人值守”，并有效支撑了青海“绿电15日”，以大数据为基石，建设绿色新青海，守护高原和谐生态。

同时，华为坚持“自己的降落伞自己先跳”，华为集团IT通过FusionInsight MRS构建OneData大数据集群，实现大数据平台在大规模场景下的开拓，OneData集群其规模已至1万+节点；同时，实现了统一的数据管理服务，在菩提海UniDB产品中，通过逻辑统一方式，把50+物理分散的计算集群(Hadoop)，基于五统一(数据安全，元数据目录，数据集成，数据访问，任务调度)，整合成湖仓一体的架构，支撑上千个企业租户的PB级数据分析处理需求。一个基于FusionInsight MRS 的“+治理，+AI，+运营，+云”的融合数据底座(菩提海)已经在华为集团IT广泛使用，未来可期。

华为云FusionInsight MRS一方面不断深入理解客户不断发展的业务诉求，另一方面，持续技术创新并引领行业发展，商业诉求+技术创新双轮驱动行业可持续、高质量发展，“用数”助力客户商业成功!上面的论述已经充分证明，华为云是“懂行”的大数据领导者，真正让客户用好数、管好数、放心用，构建数字世界黑土地！

撰稿：徐礼锋，王宁，雷文信