DTCC2024技术专场畅谈:华为云数据库成功实践分享与创新发展,引领产业大发展!

举报
GaussDB 数据库 发表于 2024/08/26 09:35:38 2024/08/26
【摘要】 8月22日~24日,以“自研创新 数智未来”为主题的第15届中国数据库技术大会(DTCC2024)在北京召开。大会由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办,邀请众多数据库领域的顶尖专家和学者,一起交流数据库先进技术与未来发展前景。22日,华为云数据库业务CTO苏光牛、华为云数据库首席产品专家肖永与多位GaussDB技术专家带来了众多干货分享——《华为云GaussDB...

8月22日~24日,以“自创新 数智未来”为主题的第15届中国数据库技术大会(DTCC2024)在北京召开。大会由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办,邀请众多数据库领域的顶尖专家和学者,一起交流数据库先进技术与未来发展前景。

22日,华为云数据库业务CTO苏光牛华为云数据库首席产品专家肖永多位GaussDB技术专家带来了众多干货分享——《华为云GaussDB精彩亮相DTCC2024,洞见数据库前沿技术,共话数智新未来! 》。

23日~24日下午的“数据库自主可控之路-金融(下)”、云原生数据库开发与实践、“NoSQL数据库技术实践”专场上,华为云数据库产品总监张浩华为云数据库软件总工程师彭立勋华为云NoSQL数据库资深架构师胡亚凡带来了华为云数据库在各个领域的实践成果与创新发展的内容分享。

“数据库自主可控之路-金融(下)”专场

在“数据库自主可控之路-金融(下)”专场上,华为云数据库产品总监张浩发表了对于金融云原生数据库的发展思考

张浩表示,如今以云原生、分布式为代表的国产数据库纷纷开启了全自路线,未来,数据库结合新硬件升级、融合AI能力、适应更多新业务场景,实现数智跃升,才有机会实现弯道超车。


华为云数据库产品总监 张浩

GaussDB五高两易实现技术和市场双领先

华为云GaussDB坚持自主创新,打造出高可用、高安全、高性能、高弹性、高智能和易部署、易迁移“五高两易”的核心能力,目前已在金融行业规模应用,并且连续八次蝉联IDC中国本地部署模式国产数据库份额第一,实现了技术和市场双领先,引领数据库产业发展。

以国有A大行为例,该行拥有220多个应用、2亿多行存储过程、2000多亿大表的业务体量,基于GaussDB完成了对传统商业数据库的替换,目前已有174个应用、2000多个节点成功上线,其中AB类业务占比高达61%。

在业务平迁过程中,GaussDB提供同城双集群、两地三中心方案等丰富的容灾架构,满足该行不同容灾等级可靠性诉求;全密态数据库,实现应用数据全生命周期守护;业界首个国内、国际双 CC EAL4+ 认证产品,保障业务数据源码级安全。此外,GaussDB经过多年的项目交付实践, 沉淀了一套成熟易复制的迁移解决方案。该方案具备金融行业应用批量可复制能力,可高度兼容多款主流数据库的常用语法,并持续增强,逐步趋向应用零改造。

在国有B大行的数据库升级替换项目中,GaussDB凭借其单体大容量、高兼容性和原生分布式等核心技术优势,确保了B行40余个应用和230多个节点的低成本、快速且安全上线,减少了7倍的工作量。同时,GaussDB在SQL引擎至存储引擎的端到端优化上表现出色,性能领先同行业30%以上。所有客户均可充分享受GaussDB带来的技术创新红利,实现对传统商业数据库的高效、安全、无缝迁移

数智跃升给世界一个更优选择

当前,国内多数数据库产品已经从最初的“解决有无问题、战略安全,确保‘可用’”,转向致力于满足“长期安全、工艺受限、长期稳定运行和业务演进”等深层次的需求,并且形成技术覆盖。

对此,张浩介绍到,GaussDB全新的三层解耦架构,突破透明多写,实现容量、高可用和资源利用率三重倍增,挑战6个9的高可用能力,RTO<6s;

其次,基于四路鲲鹏和NPU异构加速,实现了Scale-Up能力跃升,性能提升50%;

再者,突破行列双引擎融合架构所打造的 HTAP 能力实现100%数据新鲜度、100%业务透明;具备万维百亿向量数据库能力,助力大模型消除幻觉、加速缓存,灵活应对新业务场景;

最后,凭借全场景下高性能数据压缩和大规模部署下AI智能运维(AI-Native),达成业务的低成本上量和大规模运维,减少对DBA和原厂服务支持的依赖。

“未来,华为云GaussDB会持续投入,引领数据库核心技术创新和突破,与客户共创共赢,打造金融行业全场景更优数据底座,给世界一个更优选。”张浩提到。

“云原生数据库开发与实践”专场

在“云原生数据库开发与实践”专场,华为云数据库软件总工程师彭立分享了自己对于云原生数据库分级储存和处理的深刻见解。


华为云数据库软件总工程师 彭立

分级存储带宽和时延如何权衡

当前数据库的发展已经从云化完成向云原生化方向演进。云原生数据库架构的核心是计算存储分离、层次解耦,未来将会进一步演进到计算、内存、外存三层分离。当资源从本机调用变成通过网络调用后,虽然能很好地解决副本数据共享和扩展性问题,带来更好的弹性和容量,但也不可避免地带来网络时延的增加和带宽的限制。在这样的资源架构下,云原生数据库该如何解决带宽和时延问题,存储成本该如何合理控制和有效利用都是要考虑的方向。

见招拆招并举

对此,彭立详细介绍了华为云数据库云原生架构的解决思路。针对写带宽和时延问题,让主节点只写入日志到共享存储,存储层自行将日志解析为数据页面,并保存多版本页面供从节点使用,从节点从共享存储取用多版本页面。事务提交只需等待日志三副本一致,当数据页达成三副本一致后,日志即可清理。

针对读时延挑战,解决思路是在本地尽可能多地存放页面,同时根据优化器的执行计划通知InnoDB预读提前载入需要的页面,通过EBP(扩展缓冲页面)技术,利用本地盘进行二次缓存。日志即数据的设计,使得计算节点的页面都是无状态页面,本地盘故障并不影响数据库运行。

针对读带宽,通过压缩数据的方式让相同的带宽可以传输更多的页面,通过近存储处理让相同的有效数据使用更少的带宽。

云原生数据库的共享存储成本普遍高于普通的云盘或本地盘。针对冷数据成本挑战,通过压缩数据让相同的空间存储更多的冷数据,通过在存储池中增加多种介质,使用不同成本的存储池分层存储,从而降低存储成本。

华为云数据库云原生架构演进为企业带来全新模式

未来,华为云数据库云原生架构将会继续向Serverless、Regionless、Modeless三个方向演进。

Serverless让企业资源按需弹性调度且全场景无感知,让资源得到充分利用。Regionless突破地域限制实现数据全域可用,客户可以在任意地方就近接入和访问,缩短响应时间。Modeless通过提供统一的入口,为用户提供数据处理服务,并智能地选择合适的引擎来处理业务请求。并实现多模数据自动转换,让数据处理和管理变得更简单。

“NoSQL数据库技术实践”专场

在“NoSQL数据库技术实践”专场上,华为云NoSQL数据库资深架构师胡亚凡进行了华为云GeminiDB数据库的架构创新与技术突破的深度分享。

华为云NoSQL数据库资深架构师 胡亚凡

GeminiDB是国内第一款基于存算分离架构的NoSQL数据库,提供键值(兼容Redis)、宽表(兼容Cassandra/DynamoDB/HBase)、时序(兼容InfluxDB)等流行引擎接口。目前已经部署了全球23个区域,66个可用区,服务覆盖超2000+大型客户,广泛应用于金融、政府、电信、互联网等行业。GeminiDB “存算分离”和“多模扩展”的架构设计,具备多模生态、高可用、极致弹性,稳定可靠四大核心优势。

GeminiDB企业级特性赋能多行业高效稳定服务

GeminiDB企业级特性实现了从数据存储、处理到查询的全面优化,满足了不同业务场景下的高性能要求,同时降低了整体运营成本,解决特定行业难题。

第一,GeminiDB Redis 接口替代传统的 MySQL + Cache 方案,可以简化业务架构,节约开发成本,并且广泛应用在数据离散度高的业务场景中(如排行榜,k线图等)。

第二,GeminiDB T+0 车联网融合架构,支持上百万辆车同时的写入,实现查询响应毫秒级返回,同时成功降本30%,解决了车联网行业面临的业务数据“写入难”、“使用难”、“实时性差”的难题。

第三,TP+X ,GeminiDB 围绕 TP 数据进行了多模融合实践,全自动内存加速(DBCache)可以提升业务开发效率,解决“缓存击穿”问题;自动数据归档(DBLog)能够解决“TP数据膨胀”问题,为在线库减压瘦身;一体化查询和搜索(DBSearch)提升 GeminiDB 检索效率,增强 DBLog 能力。

第四,离线大批量数据快速导入(FastLoad)解决特征数据入库慢,为实时决策提供数据支持,提速可达 5

GeminiDB出色的企业级特性,让其在RTA广告、游戏、手机APP、车联网等行业得到广泛应用。以某游戏行业头部公司为例,为降低业务高峰期游戏卡顿、延迟,打造用户实时在线通畅的体验感,该客户将业务平滑迁移到 GeminiDB 上,实现系统性能5倍的提升,轻松应对20倍的业务高峰变化,有效支撑千万级玩家同时在线。此外,GeminiDB助力某教育行业头部企业实现后台管理系统业务全链路优化,支撑多家头部媒体客户 RTA 广告业务的快速上线,满足广告主实时个性化的投放需求,在竞价中减少资金浪费。

未来,华为云数据库将更加聚焦企业诉求,持续精进研发能力,夯实技术根基,以科技创新为驱动,为客户和开发者带来优质的服务和体验,助力更多企业数字化转型成功。


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。