解密华为数据仓库产品GaussDB(DWS)

举报
彩虹上的水瓶座 发表于 2020/06/28 16:54:29 2020/06/28
【摘要】 华为国产数仓品牌GaussDB 自 2019年5月正式面世以来,已经经历了十年的发展,逐渐发展为了业界领先的企业级云分布式数据仓库服务。十年的历程中,名字也变化,服务策略也在变化,通过本文,旨在为大家带来GaussDB for DWS的发展历程及基础的产品,技术方面的介绍,以及介绍一些了解产品的渠道,让大家可以共同见证GaussDB的成长和强大。

自2019年5月15日正式发布以来,华为GaussDB数据库受到了业界的广泛关注,成为了具有硬核技术色彩的「网红」之一。

 

今天,就为大家带来粉丝互动专场,近距离一览GaussDB数据库的「庐山真面目」。先抛十个热点问题解渴,更多想了解的,欢迎在评论区留言哦,小板凳已备好。「有疑就问」,是个好习惯。

 

GaussDB的命名有什么含义?

GaussDB是华为数据库产品品牌名,意在致敬数学家高斯(Gauss)。GaussDB系列数据库产品包括GaussDB OLTP(交易型)数据库和GaussDB OLAP(分析型)数据库,广泛应用于金融、政府、电信等行业,并已经进入核心系统,满足客户对智能时代高并发事务实时处理、海量数据高效分析的需求。

 

GaussDB有好多名字,傻傻分不清楚,可否介绍一下?

华为国产数据仓库一直在演进,产品名称从15年的FI MPPDB,经历FI Libra->GaussDB  200->GaussDB A,再到如今线上部署形态的GaussDB(DWS)(数据仓库服务的简写),服务形态从线下纯软到线上服务,不管怎么变,都是为了打造尖刀产品,创造智能未来。


GaussDB系列数据库是自主研发的吗?

GaussDB OLTP数据库是华为公司自主研发的分布式数据库,基于华为公司在2007年开始研发并在电信计费领域规模商用的自研内存数据库全面改造,支持x86和华为Kunpeng硬件架构,基于创新性数据库内核,提供高并发事务实时处理能力、两地三中心金融级高可用能力和分布式高扩展能力,用于支撑金融、政府、电信等行业核心关键系统。当前支持单机、主备、分布式等主流部署方式。

 

GaussDB OLAP数据库(现如今的GaussDB for DWS)是一款具备分析及混合负载能力的分布式数据库,从2011年开始,基于PostgreSQL 9.2.4的基础上自主研发,支持x86和华为Kunpeng硬件架构,支持行存储与列存储,提供PB(Petabyte)级数据分析能力、多模分析能力和实时处理能力,用于数据仓库、数据集市、实时分析、实时决策和混合负载等场景,广泛应用于金融、政府、电信等行业核心系统。 

GaussDB OLAP数据库的发展历程是怎样的?

GaussDB OLAP数据库于2011年开始预研,之后基于PostgreSQL 9.2.4进行全面改造,历经8年持续不断研发投入,已经形成了自身的完整内核。GaussDB OLAP已经演进成大规模并行处理的分布式数据库,支持行列混合存储以及线程化,能够支持高达2048节点的集群规模(已经通过信通院的512节点认证)。数据库内核三大引擎中,优化器(含SQL解析和SQL优化)、执行引擎、存储引擎,除了SQL解析部分,其他都已重构。

 

GaussDB OLAP通过全新构筑分布式执行,MPP通信框架,向量化引擎,编译执行引擎从多维度重构了执行引擎,通过列存及自适应压缩、分布式事务等,全新重构了存储引擎。由于SQL解析器、JDBC、ODBC等是数据库生态的重要组成部分,也是GaussDB OLAP构筑生态策略的一部分,因此在这方面做了大量增强。

 

除了数据库内核有了翻天覆地的变化之外,在集群管理、高可用和数据库安全方面,GaussDB OLAP数据库也做了极大的增强,同时申请了多项专利。作为企业级分布式数据库产品,GaussDB OLAP数据库还提供了包括运维管理、开发工具、迁移工具、数据复制工具等五大完整工具集。

 

2014年,华为孵化出Gauss OLAP数据库第一个产品版本(早期也叫做FusionInsight MPPDB或FusionInsight LibrA)。2015年,华为与工商银行一起联合创新,孵化出了包括TPC多流,逻辑集群等多项创新技术。双方从联合创新进入实践和应用,最终在2019年,顺利完成了核心数仓系统GaussDB OLAP数据库对国际顶尖数据库产品的替换和演进。

 

GaussDB OLAP数据库有哪些特点?

GaussDB OLAP数据库主要面向OLAP场景,支持MPP(大规模并行处理)分布式部署方式。产品特点包括:

 

● 高可用:故障时查询自动重试,同城/异地双集群容灾 

● 高性能:核心企业数据仓库场景下,分析性能持平其他业界主流分析型数据库,基于Kunpeng 920处理器芯片,相对通用同期芯片,TPC-H/TPC-DS性能提升30%,支持GPU异构多维硬件加速(10万路摄像头千亿图像比对秒级响应)

● 高扩展:单集群最大支持2048节点,在线扩容,重分布对业务透明

● 数据融合:SQL on Anywhere,支持与异构/同构数据源、MRS大数据库互联互通

● 计算融合:支持x86/华为Kunpeng CPU、GPU等异构计算芯片的智能调度,实现算力最优

● 数据安全:数据透明加密,支持国密算法SM4,行级细粒度权限控制

 

image.pngGaussDB OLAP数据库目前市场使用情况如何?

截止2019年5月,华为GaussDB数据库已经应用于全球60个国家及地区,服务于1500多个客户,拥有500多家商业合作伙伴,并广泛应用于金融、运营商、政府、能源、医疗、制造、交通等多个行业。

 

近日,在中国信息通信研究院和数据中心联盟发起的分布式分析型数据库测试中,华为GaussDB OLAP数据库率先通过512节点集群规模能力评测。与此同时,中国工商银行也完成了采用华为GaussDB OLAP数据库对国外顶级数据仓库产品的完全替代。

 

目前,华为GaussDB系列数据库产品全球累计发货超过30000套。

 

GaussDB为何要转云上模式?

1)从面临的现实问题来看:混合云是为了解决原销售模式交付的一系列问题。参差不齐不齐的硬件(多个品牌不同系列不同规格)、高达20+操作系统(含补丁版本)、异构组网、多种历史软件版本。由于运行时环境比较复杂,兼容性验证不充分,导致系统故障率高,定位周期较长;同时针对差异化运行时环境,导致安装部署、升级补丁、扩容等交付和运维效率较低,企业用户体验不佳。

2)从IT产业趋势来看,从PC时代->互联网时代->移动互联网->智能数据时代,技术架构不断变迁,也在从单机->集群->分布式->云化方向演进,因此公司也在紧跟时代特征进行战略调整,提出一云两翼双引擎战略,当前混合云、大数据、数仓仓库、数据库的策略调整是总体战略调整的一部分;

3)华为公有云经过多年的摸索,其标准化交付和运维已经非常成熟,交付、运维、故障处理经验可复制到客户机房。

4)基于云架构,华为提供高达60+的数据库、大数据、AI的云服务,企业可基于华为云服务快速构建数据平台,简化运维,实现业务快速上线,当然客户也可以选择不用。

 

GaussDB上云之后能给客户带来哪些好处?

  • 即开即用  ——  省钱、快速

您需要支付的费率很低,而且只需为实际消耗的资源付费。此外,您无需前期投入较多固定成本,可以从低规格的数据仓库实例起步,以后随时根据业务情况弹性伸缩所需资源,按需开支。DWS让您能够轻松完成从项目概念到生产部署的整个过程。通过使用 DWS Console,您不需要安装数据仓库软件,也不需要部署数据仓库服务器,就可以在几分钟之内获得高性能、高可能的企业级数据仓库集群。

  • 稳定可靠  ——  省事又省心

DWS在高可靠的基础设施上运行。DWS是分布式MPP数据仓库,是由多个节点组成的集群数据仓库,所有的软件进程均有主备保证,数据存储节点的数据均有主备保证,能够保证在任意单点物理故障的情况下系统依然能够保证数据可靠、一致,同时还能对外提供服务。DWS还具有可以增强数据仓库可靠性的众多其他功能,包括备份以及恢复等。

  • 便捷管理  ——  可视又可控

通过使用 DWS Console,您只需点击几下鼠标,可以轻松完成应用程序与数据仓库的连接、数据备份、数据恢复、数据仓库资源和性能监控等运维管理工作。您可以使用 CES Console 来查看数据仓库实例的关键性能指标,包括磁盘使用率、CPU使用率、内存使用率、IOPS、网络输入吞吐量、网络输出吞吐量、活跃SQL数、会话数等。


 

GaussDB上云之后纯软版本如何支持?

纯软版本可持续支持至2023年12月31日(需要升级到8.0);在2022年6月30日之前,现网已有的GaussDB A 可以继续按原模式进行扩容(需要升级到8.0); 2022年6月30日前的商务和2023年12月31日前的服务可按意向书保障(需要升级到8.0)。

如果想学习GaussDB OLAP数据库产品,有什么渠道?

有多种渠道可以学习华为GaussDBOLAP的数据库产品:

● 关注“华为云AI”公众号及时了解GaussDB for DWS产品及技术动态

 访问华为云官网获取在线产品资料:https://support.huaweicloud.com/dws/index.html 

 GaussDB开发者社区提供开发工具、互动社区、开发指南、安全中心等服务:https://bbs.huaweicloud.com/forum/forum-598-1.html 

 GaussDB培训认证:关注“华为认证”公众号,获取HCIA & HCIP以及HCIE等GaussDB数据库认证培训最新信息 

 GaussDB金种子计划:目前,华为已与清华大学大数据系统软件国家工程实验室、华东师范大学、武汉大学、重庆邮电大学成立GaussDB数据库创新实验室,共同开展数据库学术研究。此外,面向高校学生,华为发布的金种子计划也会陆续在全国多个高校构建基于GaussDB的数据库原理课和实训课。


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。