【云驻共创】如何使用openGaussNUMA技术，实现金融核心数据库性能提升30%

 MogDB&openGaussNUMA

新基建和新机遇——中国数据库源流和发展

谈到数据库 ，云和恩墨创始人盖国强将其分为四个学派——学院派：始于高校和研究所的中国数据库，，直至今日，源自高校的极大多数据库公司仍然是国产数据库的重要力量。其中包括人大金仓，武汉达梦等。互联网派：互联网企业参与的数据库建设。他们通过自主研发或是借助开源，解决了自身的应用问题。并依托云平台，展开了云数据库的应用推广。例如阿里巴巴的OceanBase、PolarDB、腾讯的TDSQL、TBase等，都成为了来之能用，用之则稳的核心武器。创业派：一支新兴的独立数据库创业企业力量。技术创业者和资本结合，在新时代催生了一系列的新兴数据库企业，这其中包括巨杉，PingCAP、偶数、星环、柏睿数据、星瑞格、易鲸捷等，创业核心多数来自于Oracle、IBM、Inter、HP、EMC等国际企业。科技派：参与到数据库核心公关中的头部科技企业，这其中包括华为、中兴、浪潮等，华为在2019年推出了DaussDB,中兴推出了GlodenDB,浪潮则推出了K-DB,深谙企业服务之道的头部科技企业的介入，让数据库和商业市场运作彻底消除了隔膜，迎来了加速奔跑的时代。

需求驱动 ：原生演进和数据库进化

如此多的企业在创新在创造，那么数据库到底要解决什么问题，数据库的领域里为什么还有这么多待解决的问题。真正的创新都是以用户的需求来推动的，那么在用户使用数据库的过程中，都会面临什么样的挑战。有两点核心问题：互联网式的洪峰流量以及海量的高并发，例如，Oracle数据库，其系统里有2008个核心，4TB的内存，这是今天经常能见到的硬件的处理能力。但是在这种常见的数千核心，TB级别的内存的场景下，数据库如何能发挥出它真正的计算能力，仍是一个挑战.

凝望深渊：千核算力下的并发控制

在千核算力下，如何实现更好的并发控制。我们总希望提供更好的硬件，但硬件提供了，性能下降了。经常会看到一个数据库系统上，只有一核CPU在100%运转，而其他的核心则非常空闲，这就使整体性能无法展现的一个高效的状态。也就是说，服务器的处理核心数是数据库性能提升的巨大挑战。

关键创新：多核和并行技术的持续创新

面对这样的场景，openGauss做出了一些变化，它不断通过架构的重构，机制的优化，内核上的创新和引擎上的增强，来解决多核处理下的性能问题。openGauss有不少特性，例如它支持CSN快照，增量checkpoint，NUMA多核优化等，通过这些优化，使得中国数据库第一次具备了数据库和处理器之间的联合调优。这在以前是不可能的，但有了鲲鹏的处理器，才能做出这样的改变。比如，我们在CPU 元子级的处理上，比如CAS的指令级，在数据库的处理上会看到标准的处理步骤的4个指令完成，但通过指令级的优化，在鲲鹏处理器中，就优化成了1个，这样就提高了10%的性能。

 实践挑战：32位事务号回卷带来的业务停滞

在内核上，openGauss做出了几个重要的增强。例如，解决了32位事务号带来的回卷问题。即当32位事务号跑满余量时，整个数据库就会陷入停滞状态，必须重新回收事务号才能进行再次应用。这对于所有用户来说是一个灾难。

再如，在Oracle数据库中，之前是使用了48位做的CSN序列号（最早应用于中国电信），如果这个序列号用尽，那么整个数据库就“死掉了”，不能进行任何事物，并且不可回收。直到12.2版本才把CSN改成了64位，从而彻底解决了这项问题。

关键创新：64位事务号的增强和CSN快照

而如今的openGauss解决了这项问题，使其实现了无尽的状态。64位事务号的增强，不仅解决了事务号回卷的问题，使得数据库可以持续运行，还实现了静态快照，也提高了查询的速度，从而提供了更高可用性的企业级服务。

实践挑战：事务绿率和日志写的核心瓶颈

这是一个Oracle的案例中的示范，是一个金融级客户的核心。从以下数据中我们不难发现，它最显著的是等待log filesync，即日志同步。它的等待时间达到了16000秒，而数据库总时长为18000秒，load的时长还不到1。而且就单核来看，它的日志写也已经达到了100%。这使得日志处理成为了核心瓶颈。

核心优化：CLOG Partition并行提高性能

为了解决这种所有数据库面临的问题，openGauss数据库将日志pageno均分到多个共享内存的缓冲池中，由线程局部对象的数组ClogCtidate来记录（Clog日志为事务提交日志，用来加速通过日志判断事务状态的过程），同时同步增加共享内存中的缓冲对象及对应的全局锁。

MogDB：最易用的openGauss商业版

OpenGauss开源之后，云和恩墨就率先推出了openGauss发行版。其理念是想打造一个最易用的openGauss商用版。一个数据库只有优秀的内核是不够的。云和恩墨想要围绕openGauss的内核来打造一个丰富的周边的生态。使用户能够将内核在其商用环境里应用好，出现问题时能及时得到解决，帮助用户切实的把openGauss应用起来。

MogDB：云和恩墨发行版的特性

一个商业级的数据库应当具备的四个特点：高可靠，高性能，易用性，兼容性。例如其中的高性能，openGauss在四路服务器上已经达到了230万的TPMC，只是一个非常卓越的指标，和当年的11g版本的oracle在多路服务器上达到的性能指标是相当的。

 高度的异构兼容性与闪回特性

除了传统的对象和语法兼容外，云和恩墨正在开发的闪回特性。众所周知，flashback是Oracle里一个重要的创新，即当我们发生误操作后，可以通过一个flashback的查询将数据找回来，现如今已经在openGauss中得到实现。

丰富的企业级特性

如今云和恩墨所做的，包括围绕openGauss的内核，将日常使用过程中的所需要的全线工具全部打造出来。其中包括数据库的迁移工具，测试工具，监控工具，以及数据恢复工具。这些工具研发出来以后，在内核和外部都会分步骤的进行开源。

1.自治的高可用切换

目前在所有的商业案例中，用户最看重的是当数据库出现问题的时候，如何实现自治的高可用切换。基于此需求，云和恩墨开发了Gauss-GSHA高可用切换组件。它所做的就是判断各种异常的场景，当数据库发生异常时，在备库里重新进行选择和自动切换，而在主备切换指令后10秒内，备机就可以接管业务。

2.自治的备份恢复管理

现实应用中，如果数据没有备份而碰到数据库崩溃的情况，那将是一个灾难。由此诞生的GSBRM则实现了自动化的数据库备份恢复管理，备份管理组件不仅可以对内网的数据进行备份，还可以将备份和公有云联通来使用公有云的远程存储。

极致性能—MogDB金融场景tmpC里程碑

在MogDB的基准测试中，openGauss在X86环境中实现了52w的TPMC,而在鲲鹏两路服务器中因为与其实现了联合调优，实现了156w的TPMC ,是X86环境的3倍。

成功案例-单机和分布式架构实践

在邮储银行的客户的场景里，借助一些分布式的中间件，实现了分布式的架构，替换了传统的商业数据库。

MogDB民生银行实践获超级用户大奖

民生银行去年已经将其几个业务上线到openGauss的数据库上，openGauss和MogDB为其也提供不少的核心价值。例如：1国产开源，迭代速度特别快；2架构简单，支持混合负载，适合替换传统数据库；3与pg生态兼容性好，厂商的的支持力度强；4由于源于国产商用数据库内核，稳定性强。由此民政银行联合MogDB实行了2020的推广计划。

云和恩墨+华为：优势和展望

国产数据库已经开始进入百花齐放和高速发展的蓬勃期，虽然将会经历一个漫长的阶段，但是不论国际风云如何变换，中国数据库一定会崛起。云和恩墨和华为一定会为大家提供一个新的数据库产业的解决方案。

视频链接：https://live.huawei.com/hdc2021/meeting/cn/8258.html