专家实录|华为云数据库全系产品的技术升级
8月21日~23日,第16届中国数据库技术大会(DTCC2025)在北京隆重举行。华为云数据库产品规划负责人 张浩以《深耕数据库根技术,打造可持续演进的智能数据新底座》主题分享了华为云数据库全系产品的能力升级。
更多视频内容点击了解:https://mp.weixin.qq.com/s/W1Xo2RNU7PnMvMBeM2prSA
行业趋势分析
大家好!我是来自华为云的张浩,负责华为云数据库的产品规划工作。做产品规划,需要看整个行业的趋势,当前比较大的行业趋势有几个:
一是线下市场。“自主创新”已经进入深水区,金融、政府系统都已经在使用自主创新数据库,从以前追求解决有无问题的“可用”,到现在希望“更好地用”。这个阶段面临的新问题,是如何解决长期安全、工艺受限、长期稳定运行、业务演进等挑战。
二是公有云,泛互联网行业。降本增效是在公有云上面临的最主要的挑战,客户希望通过一些架构的融合、技术的降本、AI技术来降低Capex以及Opex的支出。
三是AI。AI对数据库会产生比较大的影响,当前大部分AI都应用在企业的非核心生产系统上,未来企业生产的核心系统也需要数智能化转型,如何发挥数据价值是企业转型成功的关键。
华为云数据库产品全系升级
这几个趋势催生了新的数据库技术,这也是整个华为云数据库未来产品的演讲方向,我们认为也是新一代云原生数据库典型的特征。面向这些行业趋势,华为云三大系列产品今年做了全系升级:
GaussDB面向企业核心交易生产系统,主打的是稳,今年会正式商用发布池化透明多写架构,带来性能、可靠性、资源利用率的三重倍增。
TaurusDB面向泛互联网云原生应用,一直追求极致性价比,今年会把AI融入到Serverless里,打造AI-Based Serverless,给客户带来更高的性价比和极致体验。
多模数据库GeminiDB面向海量接入及原生AI应用,提供统一存储,包括多模的统一存储、多模统一访问,以及亚毫秒级的能力。
GaussDB 稳
GaussDB从最难啃的骨头开始。2020年左右,华为内部流程IT的ERP系统需要进行替代,同时我们也跟几个金融大行开展联创,打磨产品能力。这两年我们逐步从大行走到各个中小行,从金融走到关键基础设施行业,进行了规模化推广,也在逐步出海。
从产品能力上看,最开始,GaussDB在金融场景打造了高可用能力,包括两地三中心、一站式平滑迁移,帮助大行快速完成替代。慢慢从边缘走向核心后,做了比较大的升级,一个是存储引擎换成抖动更小的Ustore原地更新存储引擎,同时针对金融5A级核心应用上线了GaussDB+Dorado的双集群RPO=0方案,这个方案从数据库到网络、存储、交换机等,是全栈自主创新的方案。近两年,因为中小行和其他关键基础设施行业要降低部署成本,我们做了大量的易用性工作,丰富应用场景。去年GaussDB支持了向量数据库、HTAP等能力,今年也有很多的更新:池化透明多写架构、防勒索黑匣子方案等。
为什么做池化透明多写架构?我们在很多客户的业务场景中发现,很多旧系统做数据库替代只有两个选择,要么用集中式数据库,整个容量不够,满足不了业务需求,要么用分布式数据库,整个业务系统逻辑复杂交错,很难做很好的改造。如果分布式数据库业务无法做到完美的扩展,性能时延都有比较大的影响。而池化透明多写架构可以让应用像使用单机数据库一样去使用分布式数据库。相比之前的数据库单分片里还是一主多备的架构,池化透明多写架构每个节点是可读可写的,资源利用率有很大的提升。
做池化透明多写架构的思考:
一,华为云是全栈公司,可以借助云上的能力,池化以后将提供分层的弹性,带来更好的性价比。
二,可靠性上通过把存储池分开之后做双检查点机制,把故障恢复时间缩短一半,RTO做到6秒。
数据库替代后,数据安全变得非常重要。数据勒索已经成为数据安全的重灾区,面向核心业务的数据库勒索防护是重中之重。数据库能否作为整个安全勒索最后的兜底方,保证客户被勒索之后数据不丢,不用交一分钱的赎金?
对此,我们打造了数据防勒索方案,叫GaussRecorder,主要的核心关键点有三个:
1.结合华为内部鲲鹏TEE加密硬件、Dorado,实现三层安全防护。GaussRecorder和GaussDB本身是双向认证的,防止仿冒,同时GaussRecorder是部署在鲲鹏TEE加密环境里,有效地避免了黑客从操作系统层面的攻击。
2.所有的数据写到存储里,用存储WORM的机制确保日志写进去只能写,不能改,保证数据防勒索,提供三层的安全防护。
相比业界大部分通过增量备份方式做的防勒索方案,我们的方案很大的不同点在于把防勒索和事务提交结合在一起,事务提交的同时数据实时写到黑匣子中。但如果增加了一个事务提交的链路,性能会受影响,所以我们在性能上做了大量和硬件的结合来降低时延,保证对主集群的性能损耗在5%以内,这是大家能接受的,并且在几个大行也已经上线和应用。
TaurusDB 快
TaurusDB之前主打公有云,这两年在全球进行规模化部署,尤其在海外增长非常快。从市场上,大量MySQL需要快速替代方案,所以TaurusDB从公有云开始走到线下。从产品能力上,我们主要围绕存算分离架构做软硬协同能力,包括算子下推、并行等,中间几年主要面向互联网客户,做了大量降本增效特性,包括冷热分离、压缩、多租户等,今年结合从线上到线下的市场策略,把存储引擎做了大的改动,可以支撑单机百万TPMC能力,同时处理更复杂的业务,还会在公有云上发布PostgreSQL兼容版,更好地支撑海外市场拓展。
AI-Based Serverless也是重点。我们把AI融入到Serverless里,基于用户行为做主动预测,提前做弹性,保证弹得更快。传统Serverless弹性以1TCO或者0.5TCO的力度弹,遇到流量高峰需要一步一步弹,TaurusDB基于智能步长可以一步弹到位,更快速地匹配客户的业务流量高峰,同时跟应用无损透明ALT技术结合,当出现跨机弹性时保证应用连接不中断,这是我们相比业界其他Serverless的差异化竞争力。
9月30日TaurusDB会发布TaurusDB for PostgreSQL版本,首先是100%兼容PG生态,同时高度兼容SQL Server,性能提升30%,整体成本降低50%。
GeminiDB 全
GeminiDB的设计理念是一款能在任何规模下提供稳定、低时延的多模融合数据库,未来会作为华为云数据库面向AI时代的数据底座。GeminiDB发展历程和TaurusDB比较接近,主打公有云市场,差异是面向更多行业场景,包括车联网、广告推荐、游戏。从产品能力上看,GeminiDB最开始是丰富生态,支持KV宽表、时序等,中间做了很多降本增效功能,包括压缩、热冷分离等。面向行业场景,GeminiDB有一个DB Plus整体解决方案,把内部NoSQL、TP数据库和数仓、大数据整合在一起,加速数据流转。
GeminiDB面向广告推荐行业做了极速数据入库。传统广告推荐需要把数据经常从大数据里导到数据库里,以前用HBase,MySQL导入效率非常低,GeminiDB创新在大数据内置SDK,整个数据的导入效率可以提升5倍,且推荐更加精准,可以发挥更大的商业价值,在车联网领域推出了T+0实时分析解决方案,解决传统T+1时效性问题。
GeminiDB的升级总结为“一新三升级”。“一新”是面向海外市场做了多租Serverless架构,做到按请求付费,不根据资源用量计费,尤其对于一些流量负载不确定的客户来说,有比明显的降本增效效果。
“三升级”一是架构升级,针对DynamoDB场景,升级为多租Serverless架构,按读和写的请求计费,为业务具有波动的客户提供显著的降本效果。针对KV场景,今年支持了分片智能分裂,不管流量怎么激增,计算和存储都可以无限扩展。今年还会推出KV高性能版,单分片做到10万QPS,整体性能比开源Redis提升两倍。
二是接口升级,面向海外市场支持DynamoDB、HBase。
三是DB Plus方案升级:DB Log可以将关系数据库的归档日志数据自动同步到GeminiDB里,并且一站式完成,极大提升开发效率;针对车联网的DB Lake,把车联网架构做更新换代,支持数据自动入湖。
在工具方面,今年发布了GaussDB Doer智能助手,做到从开发、测试、迁移、运维全流程智能,同时维护零人工干预,让用GaussDB的客户不再依赖原厂服务,用GaussDB Doer即可搞定很多运维问题。GaussDB Doer采用“1+1+N”的架构:
“1”:对外统一智能问答入口,客户所有关于开发、运维、测试方面的自动化能力都统一通过智能问答入口进去。
“1”:智能问答内置一个GaussDB向量数据库。
“N”:N个智能体,今年重点是开发智能体、测试智能体和运维智能体,未来会做更多智能体的协同。
关于市场情况
在市场上,今年是比较大的历史转折。从IDC的报告可以看到,华为云数据库首次在本地部署市场份额超越了传统主流商业数据库。得益于GaussDB在线下金融、关键基础设施行业的规模化推广,所有的国有大行、50%股份制银行、50%政务云以及海外30多个国家已经使用了GaussDB。
关于产品演进
关于产品演进的方向,整体的产品思路还是围绕“五高两易”持续打造竞争力。在软硬协同上,GaussDB结合整个超节点提升多写及TPCH性能;在高可用上,做多地多中心容灾方案,结合黑匣子技术,做到异地容灾RPO等于0;在智能上,支持语义数据库,内置很多语义算子,帮助客户更高效地应用数据;在安全上,和鲲鹏TEE结合,做5级的零信任数据库,解决数据共享安全;在弹性上,做基于意图驱动的服务,客户只需要设定性能目标和成本目标,而对资源的判断以及使用、压缩比的设置、存储介质的使用判断,都可以通过内置的引擎自动识别。华为云数据库希望通过以上这些方向,能加速企业数字化生产系统快速演进到AI化生产系统。
我的分享就到这里,谢谢大家!
- 点赞
- 收藏
- 关注作者
评论(0)