GaussDB DN动态内存使用满导致DN主备切换
1、问题现象
客户反馈,在05:00--10:31之间GaussDB集中式在DN主备切换。
2、分析思路
- 主备切换问题,通常先找到主备切换的节点,即原主DN,新主DN分别是哪个DN。
- 然后先从cm_server主、cm_ctl等日志分析,确认主备切换的命令是由cm_server下发还是手动下发。
- 最后如果是cm_server下发主备切换的命令,通常是原主DN异常,则分析原主DN 异常原因。
3、问题分析
3.1、确认DN主备切换时间点。
查看cm_server主日志,搜索关键词“Failover message has sent to instance”,从日志中发现,2024-04-23 05:02:34,cm_server下发命令,将dn_6002切换为主DN。
cd $GAUSSLOG/cm/cm_server
vim cm_server-yyyy-mm-dd_******-current.log
继续查看cm_server主日志,搜索关键词“send switchover to instance”,发现在2024-04-23 10:31:21,手工下发了switchover命令,将dn_6001切换为主。
经以上分析,2024-04-23 05:02:34因为dn_6001的某些故障,cm_server将主DN切换为dn_6002,2024-04-23 10:31:21手动下发switchover命令将dn_6001切换为主。
3.2、定位发生主备切换原因
查看DN进程,发现进程在05:02发生重启。
ps ux|grep dn
3.3、查看是否生成ffic日志
进入日志目录,发现存在ffic日志
cd $GAUSSLOG/ffic_log
3.4、分析ffic日志
查看ffic_log日志,发现dn_6001因为发生oom,被AI Watchdog杀掉进程,从而触发主备切换。
3.5、继续查看dn_6001日志。
搜索关键词,AI Watchdog,发现是因为动态内存上涨,触发AI Watchdog主备切换。
cd $GAUSSLOG/pg_log/dn_6001
vim postgresql-yyyy-mm-dd_******.log
3.6、查看动态内存使用情况。
查看监控指标,动态内存使用率瞬间冲高。
3.7、查看dn_6001动态内存上下文
发现hashBatchContext上下文根动态内存使用高,判断可能为大的查询,其中的hash关联占用动态内存高。
cd $GAUSSLOG/mem_log/dn_6001_6002_6003
3.8、查找动态内存占用高的SQL语句。
发现占用动态内存高的SQL语句为insert into语句,该语句存在大量的关联查询,在执行该语句时发生申请内存失败,报错信息为:memory is temporarily unavailable。
cd $GAUSSLOG/pg_log/dn_6001
zgrep -i debug_query_id postgresql-yyyy-mm-dd_******.log.zg | awk -F 'consuming about' '{print $2}'|sort -nk1
4、解决措施
业务优化insert into语句。
- 点赞
- 收藏
- 关注作者
评论(0)