深耕创新,打造智能电网数据新底座|华为全联接大会2025演讲实录
9月18日至20日,以“跃升行业智能化”为主题的华为全联接大会2025在上海举行。在“数智跃升,打造智慧用电数据新引擎”分论坛现场,云数据库军团总裁 李世豪发表了《深耕创新 打造AI时代智能电网数据新底座》的主题演讲,分享了GaussDB的创新技术,以及在电力行业的应用成果。
以下为演讲实录:
电力行业的数据库,除了自主创新替代外,还有更多新的技术要求:
一是AI与数据库的双向赋能如何更好地服务电力生产业务;
二是如何发挥软硬协同优势,提升系统性能和可靠性;
三是如何用一个All in One的数据引擎来处理多模态数据,避免数据搬迁;
四是面临电力业务的波峰波谷,如何达到高弹性,实现资源的有效利用。
华为提供全栈全场景数据库服务,支持多模数据全生命周期管理,第一个方面,是全栈,围绕数据结构,华为提供端到端的全生命周期数据处理;第二个方面,是全场景,华为支持线上和线下各种业务场景的数据管理;第三个方面,是全球,目前GaussDB已经走进泰国、土耳其、巴西等40多个国家和地区,真正地给世界一个更优选择,走向海外,数据库才会有持久的生命力。
关于GaussDB
GaussDB的使命有两个,一是满足华为集团自身的业务连续性,二是确保金融、关键基础设施行业的业务连续性。2001年时,华为的数据库主要聚焦于自身内部的业务,现在已经有30万的实例,2020年,面向金融领域打造了金融级的同城高可用、两地三中心的产品形态,与工商银行联创了同城双集群RPO=0高可用方案、与招商银行联创了Ustore创新存储引擎。去年,GaussDB发布了向量数据库、HTAP、高级压缩等能力,今年架构进一步升级,实现了池化透明多写,以及防勒索和智能运维等能力。
华为用3年时间完成了内部终端云、运营商、车BU等业务的数据库替换,在此过程中也打磨了GaussDB产品。现在,GaussDB最大的分布式集群已经做到了70分片,单集群最大数据量做到了260TB,单库最大容量做到了24TB,这是基于华为自有场景所沉淀的能力。
电力行业解决方案
电力行业的数据库除了自主创新替代以外,还有几个关键挑战。
一是性能挑战,尤其是采集业务,当前,数据采集频率已经从15分钟缩短至5分钟,未来可能会进一步缩短至1分钟。如何做到分钟级数据入库?这要求性能的成倍提升。
二是扩展性挑战,随着数据量的增加和业务类型的逐渐丰富,数据库资源的扩展需要非常平滑且不中断业务。
三是营销、采集、计量等业务的频繁同步对数据一致性的要求。
围绕这三个挑战,GaussDB提供了对应的解决方案。
营销2.0电费试算场景中面临着千万级的用电用户,技术路线需要选择分布式替代。这面临着两个挑战,第一,高并发复杂关联查询。对此,GaussDB把常用的一些算子下推到计算节点,在计算节点进行并行处理。验证显示,试算时间从原来的45分钟缩短到了27分钟,试算效率提升了40%。第二,分布式改造带来的数据倾斜问题。对此,GaussDB基于最小单位做了分片设计,做到数据均衡,真正地发挥了分布式性能。
在电力营销业务场景中,复杂关联查询较多,如网上余额查询、电力网点缴费等核心场景,需要对5~10张表数据进行关联查询,业务要求千万级用电用户数据量以及千级并发下,端到端响应时间<3秒。GaussDB基于HTAP做到了即写即读,在内存上做实时数据转换,直接在内存转化为列存,通过列存的查询提升了性能,还保障了数据的一致性。
营销、采集、计量等业务都需要长期做数据同步,如营销内部数据库之间的长期数据同步、营销与计量之间档案数据的长期数据同步、省份与总部之间的二级长期数据同步,都需要及时发现数据不一致问题。DRS工具除了行级对比、全量增量的数据对比,还做到了包括抽样对比、核心表内容对比等复杂对比,把数据不一致问题的发现时间从天级缩短至小时级。
GaussDB在算力核数越来越多的情况下,充分发挥软硬协同优势,采用全并行多核框架,进行核内调度,尽可能减少跨核调度,攻克了单机算力极限,在同等的鲲鹏算力下性能提升了1倍。
GaussDB构建了内生融合向量检索能力,支持多模态复杂检索、向量索引和量化算法、分布式大库容等,支撑业务实现知识检索和数据的融合分析。
此外,GaussDB通过灵衢网络协议高速互联,把各个单节点的缓存集中到了一起,通过分布式缓冲池技术突破了缓冲池受单台服务器物理内存容量的限制,在TPC-C标准性能测试中,GaussDB三节点集群性能比鲲鹏集中式性能提升了2.9倍。
GaussDB还通过透明多写架构降低了扩容时间,做到三秒扩容,在用电高峰和低谷期随着计算资源而弹性伸缩,且业务不中断。
应用案例
采集2.0系统采用GaussDB分布式部署后,数据库容量在线平滑扩展到了20+节点,扩容期间数据可读可写,千万级日采集数据入库时间仅需分钟级,可以支持每日业务高峰期千级并发复杂查询,且迁移期间业务完全在线。
在营销2.0系统的测试结果中,采用GaussDB后,系统欠费和退单查询性能提升了4倍,电费试算耗时减少了40%,缴费场景的性能提升了50%。
数据库需要更多的生态伙伴,包括人才生态、服务生态、软件生态。当前,华为云数据库已经和2300多个合作伙伴打造了4000多套联合解决方案,联合高校通过出版教材、开设课程、智能基座项目等形式培养了超过50000名学生,在未来,我们希望和更多伙伴、高校一起,建设繁荣的数据库生态,并进一步深耕创新,为电力行业客户业务发展注入新动力。
- 点赞
- 收藏
- 关注作者
评论(0)