GaussDB DN动态内存使用满，导致DN主备切换
- 故障现象
客户反馈，在05:00--10:31之间GaussDB集中式在DN主备切换。
- 适用版本
GaussDB全部版本。
- 告警
DN主备切换。
- 业务影响
业务闪断，1min内恢复。
- 故障原因
l 主备切换问题，通常先找到主备切换的节点，即原主DN，新主DN分别是哪个DN。
l 然后先从cm_server主、cm_ctl等日志分析，确认主备切换的命令是由cm_server下发还是手动下发。
l 最后如果是cm_server下发主备切换的命令，通常是原主DN异常，则分析原主DN 异常原因。
- 处理办法
步骤 1 确认DN主备切换时间点。
查看cm_server主日志，搜索关键词“Failover message has sent to instance”，从日志中发现，2024-04-23 05:02:34，cm_server下发命令，将dn_6002切换为主DN。
cd $GAUSSLOG/cm/cm_server
vim cm_server-yyyy-mm-dd_******-current.log
继续查看cm_server主日志，搜索关键词“send switchover to instance”，发现在2024-04-23 10:31:21，手工下发了switchover命令，将dn_6001切换为主。
经以上分析，2024-04-23 05:02:34因为dn_6001的某些故障，cm_server将主DN切换为dn_6002，2024-04-23 10:31:21手动下发switchover命令将dn_6001切换为主。步骤 2 定位发生主备切换原因。
查看DN进程，发现进程在05:02发生重启。
ps ux|grep dn
步骤 3 查看是否生成ffic日志。
进入日志目录，发现存在ffic日志。
cd $GAUSSLOG/ffic_log步骤 4 分析ffic日志。
查看ffic_log日志，发现dn_6001因为发生oom，被AI Watchdog杀掉进程，从而触发主备切换。
步骤 5 查看dn_6001日志。
搜索关键词，AI Watchdog，发现是因为动态内存上涨，触发AI Watchdog主备切换。
cd $GAUSSLOG/pg_log/dn_6001
vim postgresql-yyyy-mm-dd_******.log
步骤 6 查看动态内存使用情况。
查看监控指标，动态内存使用率瞬间冲高。
步骤 7 查看dn_6001动态内存上下文根。
发现hashBatchContext上下文根动态内存使用高，判断可能为大的查询，其中的hash关联占用动态内存高。
cd $GAUSSLOG/mem_log/dn_6001_6002_6003
步骤 8 查找动态内存占用高的SQL语句。
发现占用动态内存高的SQL语句为insert into语句，该语句存在大量的关联查询，在执行该语句时发生申请内存失败，报错信息为：memory is temporarily unavailable。
cd $GAUSSLOG/pg_log/dn_6001
zgrep -i debug_query_id postgresql-yyyy-mm-dd_******.log.zg | awk -F 'consuming about' '{print $2}'|sort -nk1
步骤 9 优化insert into语句。
----结束
- 点赞
- 收藏
- 关注作者
评论（0）