GaussDB恢复到新实例失败

• 故障现象

GaussDB恢复到新实例失败。

• 故障原因

可能原因有以下：

1. 参数不合法，拒绝恢复新实例。
2. 工作流异常，提交工作流失败。
3. 创建虚拟机失败，或者资源管理服务报错。
4. 虚拟机上初始化节点失败。
5. 备份策略等信息错误导致的失败。

• 处理方法

步骤 1     使用浏览器，通过地址“https://ManageOne运维面主页的访问地址:31943”，登录ManageOne运维面，或通过地址“https://ManageOne主门户的访问地址”，登录ManageOne主门户，选择“运维中心（OC）”，进入ManageOne运维面。

密码方式：输入帐号和密码。

默认帐号：bss_admin

说明：

如果是升级场景，默认帐号为admin。

默认密码：参见《华为云Stack 8.3.0 帐户一览表》的“A类（Portal）”页签中，“ManageOne运维面”帐户对应的默认密码。

USB Key方式：插入已预置用户证书的USB Key，选择设备和用户证书，并输入PIN码

步骤 2     在“集中监控 > 告警管理 > 当前告警”中查看集中告警，并处理告警信息，获取告警中的实例ID（instance_id）或者工作ID。

步骤 3     选择“实例运维 > 任务管理”，右上角筛选条件选择“实例ID”或“任务流ID”，输入框中输入获取的实例ID或工作流ID，执行搜索，查看“当前状态”为失败的任务。

“失败原因”列输出了失败时的程序错误日志。单击“树表”，则可以查看任务失败具体的环节。

步骤 4     根据步骤3中任务执行结果，定位不同的故障场景操作。

场景一：创建服务器失败（CreateServersTaskV2执行失败），根据步骤3中展示的失败概览，分析失败原因。

− 如果步骤3的失败原因中包含“image not exists”则说明创建服务器所需镜像在环境中不存在。

修复方案：

i. 登录DBS运维管理平台，在“实例运维 > 配置管理 > 引擎资源管理”页面，引擎名称选择“GaussDB”，单击“查询”，查看对应内核版本的镜像ID是否为空，如下图所示：

说明：

查看对应内核版本的镜像ID是否为空，不同的实例对应不同的字段

x86环境：MCS实例对应“引擎资源管理”页面的“容器镜像ID”列。

x86环境的BMS，ARM环境MCS及BMS对应“引擎资源管理”页面的“扩展镜像ID”列。

ii. 镜像ID为空，则单击对应版本所在行“编辑”，按照已有格式关联需要的镜像ID，镜像ID可通过Service OM平台的“服务列表 > 镜像资源”中查询获取，如下图所示。

图9-1 查询镜像ID

 图9-2 编辑镜像ID

iii. 如镜像ID不为空，但在Service OM平台的镜像资源中查询不到该镜像ID，可能存在两种情况：

□   该镜像未注册，此种情况需要注册镜像

□   镜像已在service om中注册，但配置错误，此种情况需要点击对应版本“编辑”，按照已有格式更新对应版本的镜像ID，参见图9-2。

iv. 镜像ID不为空，且与service om的镜像ID一致，则需要排查镜像文件是否存在于obs桶中，如不存在，则需要重新注册镜像，如obs桶中镜像存在，则执行步骤5。

场景二：创建服务器失败（WaitCreateServersTask执行失败），根据步骤3中展示的失败概览，分析失败原因。

− 如果步骤3的失败原因中包含“not enough hosts”，则说明服务器资源不足。

修复方案：

联系IaaS对计算资源扩容，然后在Console实例管理页面上，等待该实例状态显示为“创建失败”，删除实例，并重新下发恢复新实例。

−  如果步骤3的失败原因中包含“PlacementDiskFilter”，说明没有满足的磁盘资源。

修复方案：

联系IaaS对磁盘进行扩容，然后在Console实例管理页面上，等待该实例状态显示为“创建失败”，删除实例，并重新下发恢复新实例。

−  如果步骤3的失败原因中包含“No more IP addresses available”，则说明IP资源不足。

修复方案：

在虚拟私有云服务页面下释放实例所在子网下的空闲ip，然后在Console实例管理页面上，等待该实例状态显示为“创建失败”，删除实例，并重新下发恢复新实例。

场景三：校验网络连通性失败(VerifyCommunicationChannelTask失败），说明管控面网络与实例网络连通性存在问题，请联系网络技术人员，排查网络问题,确认网络恢复正常后，删除原有实例，重新下发恢复新实例。

场景四：Agent执行失败（SendInitAgentCmdTask或下一个任务 WaitAgentInitResulTask执行失败），根据步骤3中展示的失败概览，分析失败原因。

如果步骤3的失败原因中包含“RPCClient.RPCClientBuilder failed”或“Agent may not be ready to connect”，则可能是网络不通。

修复方案：

联系运维排查网络故障原因，确认网络恢复正常后，然后，确认网络恢复正常后，删除原有实例，重新下发恢复新实例。

若失败原因不在上述场景，请执行步骤5。

步骤 5     若以上步骤仍不能解决问题，收集日志和告警信息，联系技术支持进行处理。

需要下载的日志信息有：

管理侧：

DBS-GaussDB-backupmanager组件下的日志。

DBS-GaussDB-instancemanager组件下的日志。

租户侧：

agent组件下的：

/home/Ruby/log/agent.log

/home/Ruby/log/asyncJobResult.dat

/home/Ruby/log/om_agent/agent.log

GaussDB Kernel组件下的：/var/lib/log/Ruby

----结束