GaussDB DN动态内存使用满导致DN主备切换

举报
HuaweiCloudDeveloper 发表于 2025/10/15 15:22:17 2025/10/15
【摘要】 本文详细地阐述了DN动态内存使用满导致DN主备切换,同时提供了最优的解决方案。

1、问题现象

客户反馈,在05:00--10:31之间GaussDB集中式在DN主备切换。

2、分析思路

  •    主备切换问题,通常先找到主备切换的节点,即原主DN,新主DN分别是哪个DN
  •    然后先从cm_server主、cm_ctl等日志分析,确认主备切换的命令是由cm_server下发还是手动下发。
  •    最后如果是cm_server下发主备切换的命令,通常是原主DN异常,则分析原主DN 异常原因。

3、问题分析

3.1、确认DN主备切换时间点。

查看cm_server主日志,搜索关键词“Failover message has sent to instance”,从日志中发现,2024-04-23 05:02:34,cm_server下发命令,将dn_6002切换为主DN。

cd $GAUSSLOG/cm/cm_server

vim cm_server-yyyy-mm-dd_******-current.log

继续查看cm_server主日志,搜索关键词“send switchover to instance”,发现在2024-04-23 10:31:21,手工下发了switchover命令,将dn_6001切换为主。

经以上分析,2024-04-23 05:02:34因为dn_6001的某些故障,cm_server将主DN切换为dn_60022024-04-23 10:31:21手动下发switchover命令将dn_6001切换为主。

3.2、定位发生主备切换原因

查看DN进程,发现进程在05:02发生重启。

ps ux|grep dn

3.3、查看是否生成ffic日志

进入日志目录,发现存在ffic日志

cd $GAUSSLOG/ffic_log

3.4、分析ffic日志

查看ffic_log日志,发现dn_6001因为发生oom,被AI Watchdog杀掉进程,从而触发主备切换。

3.5、继续查看dn_6001日志。

搜索关键词,AI Watchdog,发现是因为动态内存上涨,触发AI Watchdog主备切换。

cd $GAUSSLOG/pg_log/dn_6001

vim postgresql-yyyy-mm-dd_******.log

3.6、查看动态内存使用情况。

查看监控指标,动态内存使用率瞬间冲高。

3.7、查看dn_6001动态内存上下文

发现hashBatchContext上下文根动态内存使用高,判断可能为大的查询,其中的hash关联占用动态内存高。

cd $GAUSSLOG/mem_log/dn_6001_6002_6003

3.8、查找动态内存占用高的SQL语句。

发现占用动态内存高的SQL语句为insert into语句,该语句存在大量的关联查询,在执行该语句时发生申请内存失败,报错信息为:memory is temporarily unavailable。

cd $GAUSSLOG/pg_log/dn_6001

zgrep -i debug_query_id postgresql-yyyy-mm-dd_******.log.zg | awk -F 'consuming about' '{print $2}'|sort -nk1


4、解决措施

业务优化insert into语句。



【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。