GaussDB（DWS）华为云数仓使用实践–预算有限？华为云数仓集群在线缩容帮你解决烦劳

【摘要】共有云上客户面在使用GaussDB(DWS)数仓时，在业务不同的时段，对数仓的计算资源大小有不同的需求。在业务繁忙、流量高峰的时候需要对DWS集群节点扩容，增强业务负载能力，业务峰值过去，则需要减少数据库节点，释放计算资源，降低成本压力。华为云数仓GaussDB(DWS)已经支持集群节点在线扩容能力，在8.1.1.300版本支持在线缩容能力。

一、背景介绍

公有云上客户面在使用GaussDB(DWS)数仓时，在业务不同的时段，对数仓的计算资源大小有不同的需求，通常有以下诉求：

1. 在业务繁忙、流量高峰的时候需要对DWS集群节点扩容，增强业务负载能力；

2. 业务峰值过去，平缓时期则需要减少数据库节点，释放计算资源，降低成本压力；

3. 扩容和缩容尽可能的不影响客户业务

目前，华为云上GaussDB(DWS)集群已经支持在线节点扩容能力，8.1.1.300版本新增在线节点缩容能力，以满足客户需求。

二、华为云GaussDB(DWS)缩容使用简介

1. DWS集群缩容流程

2. DWS集群满足缩容的前提条件

GaussDB(DWS)数仓集群在缩容之前需要满足以下条件：

1. 集群状态为Normal，重分布状态为No，不能是只读。

2. 集群配置文件已经生成，配置的信息正确并且和当前集群状态一致。

3. 缩容前用户需要确保default_storage_nodegroup参数值为installation。

4. 缩容期间不支持性能检查脚本gs_checkperf。

5. 集群按照环的方式配置，比如4个或5个主机组成一个环，这些主机上的DN主节点、备节点和从节点都部署在这个环里， 缩容的最小单元是一个环。

6. 缩容的主机不能包含ETCD组件，GTM组件，CM Server组件。

7. 缩容不支持包括CN的节点，如果包括CN，先使用增删CN工具，删除CN后再缩容。

8. 缩容不支持回滚，支持重入。缩容数据重分布失败，不影响业务，用户可选择合适的时间尽快完成重分布，否则会导致数据长期分布不均匀。

9. 重分布前，需要保证对应数据库下的data_redis为重分布预留schema，不允许用户操作该schema和其内部表。因为在重分布过程中，会使用到data_redis并且重分布结束后会删除该schema，如果存在用户表，则可能会出现数据误删。

10. 在逻辑集群模式下，一次只能对一个逻辑集群执行缩容，不支持对整个物理集群进行缩容。

11. 缩容过程不支持gs_cgroup操作。

12. 收缩后的节点必须有足够的存储空间存放整个集群的数据，否则缩容无法正常。执行缩容前，需对集群剩余容量进行检查，条件满足后可进行缩容。

    • 所有节点已使用物理磁盘空间均小于80%。
    • 所有用户和角色的使用量均小于配额的80%。
    • 总数据量缩容后的空间预估要小于80%。

13. 缩容过程中系统将关闭“自动剔除故障CN”功能，在缩容完成后系统再次打开该功能。

系统后台会自动检查用户用户集群是否满足上述条件，如果不满足，则缩容按钮置灰，用户无法操作，用户可以通过点击了解更多查看华为云DWS集群不满足缩容的条件。

3. 在华为云上对DWS集群缩容

当用户在华为云上的DWS集群满足节点缩容条件的时候，在集群管理页面->更多标签下缩容选项变得可选

当用户点击缩容后，会进入缩容详情页面

在缩容详情页面用户可以对集群节点缩容参数定制化选择：

1. 缩容节点数
2. 是否自动备份集群当前状态快照（默认自动备份）
3. 是否在线缩容（默认离线）

当用户选择完毕后，点击下一步确认后，会展示缩容详情，用户在这一步可以选择确定缩容或者返回上一步修改参数

用户点击确定后，系统后台会对用户授权进行检查，若果用户未授权DWS使用VPC权限，则会弹出提示框提醒用户授权，用户同意授权后，系统后台便开始对集群缩容

集群缩容中状态

4. 缩容异常处理

当用户在缩容的执行失败的时候，可以在DWS集群管理页面选择重试缩容或者删除集群

当因为集群故障，导致用户集群缩容失败时，系统后台会记录缩容不走，当用户选择重试缩容后，系统后台会以之前用户的设置到之前记录的步骤重试缩容，直到缩容完成。