GaussDB(DWS)快照异常/容灾异常之管控面排查方法【绽放吧!GaussDB(DWS)云原生数仓】
GaussDB(DWS)的快照与容灾都是从管控面下发任务到后端内核执行,大体流程如下:
DWS管控面/FI管控面-> GaussRoach.py/SyncDataToStby.py -> gs_roach内核
后端备份排查思路参考:https://bbs.huaweicloud.com/forum/thread-0222127187204429089-1-1.html
有些时候问题并不是发生在roach侧,而是管控面任务调度异常,可能备份任务并未成功下发到后台,本文提供管控面快照/容灾管理的定位方法:
管控面rms数据库登录参考:DWS登录指南_数仓GaussDB(DWS)_大数据_华为云论坛 (huaweicloud.com)
一、管控面快照job查看步骤:
1、登录mysql数据库,查看集群id
select name,id from rds_cluster where name='集群名称';
2、根据集群id找到报错快照的jobid
select status,id,name,backJobId from rds_cluster_backup where clusterId='c22a5d15-1d60-4d15-a7a3-7846ea99b394' order by name;
3、根据jobid查看具体的快照是在哪一步骤报错
select * from taskmgr_task where job_id='2c9080298b6480a0018b6cdf8881049f' ORDER BY begin_time desc;
4、根据jobid找到对应的pod节点 去查看controller日志
select server_hostname,created_at,scheduled_at from taskmgr_job where job_id='2c9080298b6480a0018b6cdf8881049f' ORDER BY begin_time desc;
5、第四步中可查到报错pod,登录报错 pod 根据 jobid 查看ossres-dws.log
6、根据ossres-dws.log中报错的 instanceId ,登录节点查看沙箱外日志 home/Ruby/log/cloud-dws-deploy.log
(若cloud-dws-deploy.log日志为空,考虑日志已归档,查看归档目录/home/Ruby/archivelog,解压对应时间压缩包进行查看)
二、管控面容灾job排查步骤:
1、登录mysql数据库,查看集群id;
通过rds_disaster_recovery_cluster_info这张表,使用容灾ID查询到容灾的集群,拿到主集群的ID;
容灾管理-->点击容灾名称,进入详情后获取容灾ID
select role,clusterId,clusterName from rds_disaster_recovery_cluster_info where disasterRecoveryId='e5f580a8-fbc2-423c-871b-c96b9f962252';
2、根据主集群ID查询job调度情况
select job_id, job_def_name, execution_status, begin_time, server_hostname from taskmgr_job where request like '%f002086c-e653-4527-b0d5-09a184a7c5ed%' order by begin_time desc, job_id desc;
3、根据jobid查看具体的job执行结果
select * from taskmgr_task where job_id='2c9080028b5bea07018b5ce2c1c001f1' ORDER BY task_index;
4.管控面容灾日志路径:/home/Ruby/log/disaster_recovery.log
tips:管控面如何确认哪个节点为主节点
select id,name,status,privateIp,internalIp,manageIp,datastoreVersion,guestAgentVersion,instType from rds_instance where clusterId='492c94ed-60c2-487e-9ec6-69af30532ff3';
查询得到的第一个cn节点为主节点
当前仅初步整理了简单的管控面排查思路,后续会继续补充。
我正在参加【有奖征文 第27期】绽放吧!GaussDB(DWS)云原生数仓!https://bbs.huaweicloud.com/blogs/413921
- 点赞
- 收藏
- 关注作者
评论(0)