GaussDB(DWS)故障修复系统性介绍

举报
闻鲜生 发表于 2023/05/19 12:07:30 2023/05/19
【摘要】 DWS是一个分布式架构的MPP集群,物理部署上涉及数百数千台主机和对应的磁盘,以及这些主机所在的大规模分布式高速组网环境。在逻辑上,MPPDB包括CM、GTM、CN、DN各种实例组件的配合工作。因此DWS的故障场景较多,不过我们提供了针对各种故障场景的系统性修复方案。通过此文可以了解DWS服务面临的故障场景和对应的修复方案。

DWS是一个分布式架构的MPP集群,物理部署上涉及数百数千台主机和对应的磁盘,以及这些主机所在的大规模分布式高速组网环境。在逻辑上,MPPDB包括CM、GTM、CN、DN各种实例组件的配合工作。因此DWS的故障场景较多,不过我们提供了针对各种故障场景的系统性修复方案。通过此文可以了解DWS服务面临的故障场景和对应的修复方案。

硬件故障场景

1、可修复故障:主要是指硬件故障后可以修复,并且不会造成数据损坏或者丢失,比如内存条故障更换,raid组内磁盘故障更换,主机断电重启等。这种故障场景下,等待硬件故障恢复后,上面的数据库实例会自动启动并恢复。

2、磁盘故障:包括磁盘故障和raid组故障,可能导致CN,DN数据损坏或者丢失。这种故障场景下,等待硬件故障修复后,需要对上面的CN实例做元数据修复,DN实例做数据修复,CM,GTM实例做配置修复。

3、主机故障:包括系统盘损坏,其他硬件故障导致的主机无法启动等,会导致该主机上部署的软件和数据丢失。这种故障场景下,则需要更换主机,使用新主机替换故障主机,需要在新主机上重装数据库软件,重建上面的数据库实例。

软件故障场景

DWS逻辑上包括OMCMGTMCNDN五种类型的实例组件,每类组件提供的功能不动,配置的数量也不同,但是共同配合,支撑DWS的运维和业务功能。如下是DWS服务的一种简单部署拓扑图(其中OM属于静态工具因此不再列出,为了拓扑简洁性DN从备也未列出):

t1.PNG

其中硬件故障最终体现到DWS数据库实例故障上,DWS集群修复也是通过修复每类故障实例来进行的,每类实例的修复条件和修复思路如下:

  • 集群管理组件(CM)
    • cm_server:主备模式,整个DWS集群只部署1主1备,主备分别部署在不同主机上。主备至少有一个正常的才能修复。主要修复其配置,以对端为模板重建故障实例。
    • cm_agent:每个主机都部署一个cm_agent,原则上只要有一个正常的cm_agent就能修复。主要修复配置,以正常的cm_agent为模板重建故障实例。
  • 全局事务管理(GTM):主备模式,整个DWS集群只部署1主1备,主备分别部署在不同主机上。主备至少有一个正常的才能修复。主要修复配置和少量数据(xid,序列数据等),以对端为模板重建故障实例。
  • 协调节点(CN):多主多活模式,每个主机可最多部署一个CN实例,整个DWS集群最多部署20个CN实例。原则上只要有一个正常的CN就能修复。主要修复配置和元数据,以正常的CN为模板重建故障实例。
  • 数据节点(DN):多切片模式,最多支持2048个数据切片。每个数据切片又包括主机,备机,从备三副本。每个DN切片主、备、从副本只能故障一个。主机或备机副本故障后,以对端实例为模板修复故障实例配置和数据。从备故障以主机实例为模板修复故障实例的配置,从备副本不涉及数据。

故障修复场景

结合硬件故障场景和软件故障场景,DWS支持的故障修复主要包括:DN主备build,实例修复,节点修复(温备)

DN主备build

DN主备副本通过WAL实时同步数据,由集群管理(CM)来自动完成DN主备实例的状态监控、主备冲裁、主备切换及主备build。如果主DN所在机器发生故障,CM自动完成DN主备切换(备机升主,主机降备),如果故障恢复后,CM会自动做DN主备数据同步(build)来重建故障备机。

该场景主要包括机器宕机重启,更换内存条等,是最常见的故障场景也是最简单的故障场景,DWS已经支持自动化处理。

如下图所示,由每个主机的cm_agent监控该主机的DN实例状态并上报给cm_server;当DN实例故障后,cm_server收到cm_agent上报的状态信息后会冲裁主备切换,让备机升主继续对外提供服务;如果原主机恢复,则cm_server会下发build指令给故障DN所在主机的cm_agent,让cm_agent负责DN的数据build。

实例修复

实例修复主要指相对于“DN主备build”更复杂的故障场景,该故障场景主要是指某个机器(或多台机器)发生实例级别故障,实例范围包括CM、GTM、CN、DN等实例,故障范围主要包括实例的配置或者数据发生损坏或者丢失,但是故障机器的OS系统和DWS数据库软件还是正常的。该故障场景主要包括机器数据盘,raid组损坏,更换磁盘等。

典型的故障场景和修复示意图如下:

该故障场景DWS已经不能做自动化修复,但是提供了一键式修复工具gs_replace,需要运维人员分析故障场景,预估修复耗时,然后在业务空闲时间窗进行修复。

CM、GTM主要修复配置,秒级修复,对业务和系统负载影响很小;CN涉及元数据重建,耗时与表数量正相关,并且在修复后期会短暂锁集群做元数据追增,阻塞用户DDL业务;DN涉及数据重建,耗时与数据量正相关,修复过程中不影响业务,但会消耗系统的网络和IO资源。

节点修复

节点修复主要处理更加复杂的故障场景,该故障场景主要是指某个机器(或多台机器)发生整机故障,如CPU、内存故障,OS系统损坏导致的机器无法启动。

该故障场景修复思路如下:

1、确认故障范围,包括故障机器,影响的数据库实例。

2、故障机器断电下网。

3、重新准备一台新机器,新机器软硬件规格要和故障机器一样。

4、把新机器的主机名和IP修改成故障机器一样,并加入到DWS集群网络内。

5、通过DWS修复工具gs_replace在新机器上重建故障机器上的软件、配置和数据。

修复逻辑图示意图如下,很明显节点修复相对于“实例修复”场景更加复杂,前提需要运维人员准备硬件机器环境,然后再新机器上做软件修复。需要先安装数据库软件,然后在做数据库实例修复,数据库实例修复的方法和规格同“实例修复”。


温备

温备处理的故障场景和节点修复一样,主要是修复方式不一样,温备主要适用于云上场景或者有机器富裕的用户。

主要使用场景如下:

1、针对N台(N>=3)主机的DWS集群,提前规划M台(M>=1)机器作为温备机器,温备机器软硬件规格和DWS集群机器一样。并把温备机器也加入到DWS集群网络环境内。

2、如果DWS集群内某台机器发生了硬件故障且无法修复。

3、把故障机器断电并下网。

4、从温备机器中任找一台机器,然后使用DWS修复工具gs_replace在温备机器上重建故障机器上面的软件、配置和数据。

温备修复的逻辑示意图如下,由于温备提前把备用机器准备好并且已经加入到了DWS原集群网络环境内,因此当老集群中发生主机故障时,备用机器可快速启用,减免了紧急准备硬件,主机入网的环节,大大提升修复效率。

温备修复相对于“主机修复”,多个一个修改集群拓扑配置的环境,由于新机器的ip和主机名和故障机器不一样,因此需要先修改集群的拓扑配置,把故障机器的修改为新机器的,后续修复流程和规格和节点修复一样。

本文详细梳理分析了DWS服务面临软硬件故障场景和对应的修复原理,希望借此能够让你对DWS的集群故障修复有个全面深入的了解。具体的使用说明和操作步骤可参见DWS产品文档,从此对DWS故障修复不再愁。

DWS博文后缀.png

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

举报
请填写举报理由
0/200