DWS是一个分布式架构的MPP集群，物理部署上涉及数百数千台主机和对应的磁盘，以及这些主机所在的大规模分布式高速组网环境。在逻辑上，MPPDB包括CM、GTM、CN、DN各种实例组件的配合工作。因此DWS的故障场景较多，不过我们提供了针对各种故障场景的系统性修复方案。通过此文可以了解DWS服务面临的故障场景和对应的修复方案。

硬件故障场景

1、可修复故障：主要是指硬件故障后可以修复，并且不会造成数据损坏或者丢失，比如内存条故障更换，raid组内磁盘故障更换，主机断电重启等。这种故障场景下，等待硬件故障恢复后，上面的数据库实例会自动启动并恢复。

2、磁盘故障：包括磁盘故障和raid组故障，可能导致CN，DN数据损坏或者丢失。这种故障场景下，等待硬件故障修复后，需要对上面的CN实例做元数据修复，DN实例做数据修复，CM，GTM实例做配置修复。

3、主机故障：包括系统盘损坏，其他硬件故障导致的主机无法启动等，会导致该主机上部署的软件和数据丢失。这种故障场景下，则需要更换主机，使用新主机替换故障主机，需要在新主机上重装数据库软件，重建上面的数据库实例。

软件故障场景

DWS逻辑上包括OM，CM，GTM，CN，DN五种类型的实例组件，每类组件提供的功能不动，配置的数量也不同，但是共同配合，支撑DWS的运维和业务功能。如下是DWS服务的一种简单部署拓扑图（其中OM属于静态工具因此不再列出，为了拓扑简洁性DN从备也未列出）：

其中硬件故障最终体现到DWS数据库实例故障上，DWS集群修复也是通过修复每类故障实例来进行的，每类实例的修复条件和修复思路如下：

• 集群管理组件（CM）
  • cm_server：主备模式，整个DWS集群只部署1主1备，主备分别部署在不同主机上。主备至少有一个正常的才能修复。主要修复其配置，以对端为模板重建故障实例。
  • cm_agent：每个主机都部署一个cm_agent，原则上只要有一个正常的cm_agent就能修复。主要修复配置，以正常的cm_agent为模板重建故障实例。
• 全局事务管理（GTM）：主备模式，整个DWS集群只部署1主1备，主备分别部署在不同主机上。主备至少有一个正常的才能修复。主要修复配置和少量数据（xid，序列数据等），以对端为模板重建故障实例。
• 协调节点（CN）：多主多活模式，每个主机可最多部署一个CN实例，整个DWS集群最多部署20个CN实例。原则上只要有一个正常的CN就能修复。主要修复配置和元数据，以正常的CN为模板重建故障实例。
• 数据节点（DN）：多切片模式，最多支持2048个数据切片。每个数据切片又包括主机，备机，从备三副本。每个DN切片主、备、从副本只能故障一个。主机或备机副本故障后，以对端实例为模板修复故障实例配置和数据。从备故障以主机实例为模板修复故障实例的配置，从备副本不涉及数据。

故障修复场景

结合硬件故障场景和软件故障场景，DWS支持的故障修复主要包括：DN主备build，实例修复，节点修复（温备）

DN主备build

DN主备副本通过WAL实时同步数据，由集群管理（CM）来自动完成DN主备实例的状态监控、主备冲裁、主备切换及主备build。如果主DN所在机器发生故障，CM自动完成DN主备切换（备机升主，主机降备），如果故障恢复后，CM会自动做DN主备数据同步（build）来重建故障备机。

该场景主要包括机器宕机重启，更换内存条等，是最常见的故障场景也是最简单的故障场景，DWS已经支持自动化处理。

如下图所示，由每个主机的cm_agent监控该主机的DN实例状态并上报给cm_server；当DN实例故障后，cm_server收到cm_agent上报的状态信息后会冲裁主备切换，让备机升主继续对外提供服务；如果原主机恢复，则cm_server会下发build指令给故障DN所在主机的cm_agent，让cm_agent负责DN的数据build。

实例修复

实例修复主要指相对于“DN主备build”更复杂的故障场景，该故障场景主要是指某个机器（或多台机器）发生实例级别故障，实例范围包括CM、GTM、CN、DN等实例，故障范围主要包括实例的配置或者数据发生损坏或者丢失，但是故障机器的OS系统和DWS数据库软件还是正常的。该故障场景主要包括机器数据盘，raid组损坏，更换磁盘等。

典型的故障场景和修复示意图如下：

该故障场景DWS已经不能做自动化修复，但是提供了一键式修复工具gs_replace，需要运维人员分析故障场景，预估修复耗时，然后在业务空闲时间窗进行修复。

CM、GTM主要修复配置，秒级修复，对业务和系统负载影响很小；CN涉及元数据重建，耗时与表数量正相关，并且在修复后期会短暂锁集群做元数据追增，阻塞用户DDL业务；DN涉及数据重建，耗时与数据量正相关，修复过程中不影响业务，但会消耗系统的网络和IO资源。

节点修复

节点修复主要处理更加复杂的故障场景，该故障场景主要是指某个机器（或多台机器）发生整机故障，如CPU、内存故障，OS系统损坏导致的机器无法启动。

该故障场景修复思路如下：

1、确认故障范围，包括故障机器，影响的数据库实例。

2、故障机器断电下网。

3、重新准备一台新机器，新机器软硬件规格要和故障机器一样。

4、把新机器的主机名和IP修改成故障机器一样，并加入到DWS集群网络内。

5、通过DWS修复工具gs_replace在新机器上重建故障机器上的软件、配置和数据。

修复逻辑图示意图如下，很明显节点修复相对于“实例修复”场景更加复杂，前提需要运维人员准备硬件机器环境，然后再新机器上做软件修复。需要先安装数据库软件，然后在做数据库实例修复，数据库实例修复的方法和规格同“实例修复”。

温备

温备处理的故障场景和节点修复一样，主要是修复方式不一样，温备主要适用于云上场景或者有机器富裕的用户。

主要使用场景如下：

1、针对N台（N>=3）主机的DWS集群，提前规划M台（M>=1）机器作为温备机器，温备机器软硬件规格和DWS集群机器一样。并把温备机器也加入到DWS集群网络环境内。

2、如果DWS集群内某台机器发生了硬件故障且无法修复。

3、把故障机器断电并下网。

4、从温备机器中任找一台机器，然后使用DWS修复工具gs_replace在温备机器上重建故障机器上面的软件、配置和数据。

温备修复的逻辑示意图如下，由于温备提前把备用机器准备好并且已经加入到了DWS原集群网络环境内，因此当老集群中发生主机故障时，备用机器可快速启用，减免了紧急准备硬件，主机入网的环节，大大提升修复效率。

温备修复相对于“主机修复”，多个一个修改集群拓扑配置的环境，由于新机器的ip和主机名和故障机器不一样，因此需要先修改集群的拓扑配置，把故障机器的修改为新机器的，后续修复流程和规格和节点修复一样。

本文详细梳理分析了DWS服务面临软硬件故障场景和对应的修复原理，希望借此能够让你对DWS的集群故障修复有个全面深入的了解。具体的使用说明和操作步骤可参见DWS产品文档，从此对DWS故障修复不再愁。