工商银行携手华为云FusionInsight共建大数据体系

9月23日至25日，华为全联接2021以“深耕数字化”为主题，各行业领军人物分享最新成果与实践。在“华为云FusionInsight智能数据湖打造千行百业数据底座”专题演讲中，中国工商银行（以下简称“工行”）大数据平台产品经理袁一，发表“工商银行携手华为云FusionInsight共建大数据体系”演讲。

随着金融业的快速发展和大数据技术生态的不断完善，近年来工行与华为持续联合创新，通过引入FusionInsight智能数据湖，工行大数据技术从仅对大数据批量加工，已延展到大数据实时计算、联机查询、数据可视化、安全管控等金融应用场景，不断提升工行服务实体经济的能力，倾力打造服务于经济高质量发展的数字工行。

目前工行已建成同业最大的单集群，已部署上线的FusionInsight MRS云原生数据湖和DWS云数据仓库集群规模达2000+节点，支撑了300+总行应用、分行及集团子公司的平台化大数据应用开发，日均承载批量计算作业数达20万+，强力支撑了行内、行外的金融数据服务。

传统的大数据平台主要以支撑增值类业务为主，但随着大数据技术的发展，诸如像风险控制、损益预查询、监管报送、交互查询（如交易明细查询）等关键业务也开始接入到大数据平台：

在风险控制场景，工行通过FusionInsight MRS构建实时数据湖的能力，结合工行专家规则的风险防控系统能力，实现毫秒级交易风险控制，让风控从事后处理，向事中控制快速转变，已为工行客户挽回资金损失数10亿元；

在损益预查询场景，传统方案采用批量作业，不仅存在业务时效性差的问题，同时也需消耗大量的主机资源，为此工行基于FusionInsight开展架构转型，通过准实时数据复制技术，将主机上产生的数据，准实时地同步到大数据平台，使原先每天只能跑10轮的批量作业，提升到每天30轮，让之前每轮批量作业耗时30分钟耗时缩减了2倍，不仅大幅提升分析时效性，同时也减少了主机的资源开销；

在监管报送场景，伴随工行业务的不断增长，数据的体量也越来越大，传统一体机架构的建设成本越来越高，报送时效性也越来越难以满足业务发展现状。在新一轮IT架构转型中，工行携手FusionInsight构建监管报送系统，实现从数据加工、脱敏、校验，到最终的报送环节，充分利用了大数据平台分布式数据处理的能力，使报送频度从季度提升到月度；

在交互查询场景，工行通过MRS HetuEngine数据虚拟化引擎，使得耗时从小时级降至秒级，提效50倍，提升工行13000名分析师即时BI体验，面向全行推广。

以上仅是工行联合FusionInsight团队在金融大数据技术创新及应用落地的冰山一角，未来双方还将从以下几个方面持续创新：

• 大集群跨机房部署：随着金融机构业务量的极速增长，底层的大数据基础设施也越来越庞大，如何对物理分散的基础设施进行有效管理，成为各金融机构最为关注问题之一。工行将通过FusionInsight MRS联邦集群管理能力，将同一个数据中心内多个机房的集群进行联合管控，形成一个资源可统一调度的大集群，为用户提供服务。
• 大数据云原生：工行将建设具备固定资源池和弹性资源池混合部署的大集群，通过高性能固定资源池，满足日常相对固定的资源需求；通过存算分离的弹性资源池，灵活扩缩容，轻松应对特殊时间节点上的资源需求高峰。
• 高可用能力提升：随着越来越多的关键业务逐步接入到大数据平台，业务对平台的可靠性和服务连续性，提出了更高要求。为此工行在同城两个数据中心内，建设了主备双活集群，提升关键业务场景的可靠性和服务连续性。
• 数据入湖时效性提升：传统的数据交换时效一般为T+1，即使通过CDC等技术实现流式数据入湖，但最快也只能达到15-30分钟才能完成一个批次，造成业务感知慢。随着大数据生态中诸如Hudi实时增量更新技术的成熟，有望将数据入湖时效控制在5分钟以内，进一步提升数据处理时效性。

      工行将不断加强与FusionInsight团队的合作，通过云计算、数据湖、人工智能、IoT等创新技术，更好地利用数据生产要素，从社会的痛点、难点入手，做好金融大数据平台的建设工作，提升工行服务实体经济的能力。

更多精彩文章：https://bbs.huaweicloud.com/forum/thread-66105-1-1.html