容器 RSS 3GB、堆内只查到 500MB:一次 glibc malloc arena 排查实录

举报
yd_219479431 发表于 2026/11/15 07:11:35 2026/11/15
【摘要】 线上一个 Java 服务频繁被 Kubernetes 以 OOMKilled 杀掉,但翻应用自己的指标,堆内存峰值只有 500MB 左右,而容器 RSS 已经顶到 3GB 的 limit。堆内正常、容器超限,说明占用在堆外。下面把这次从现象到根因的排查顺序记录下来。一、先确认到底是谁在吃内存进容器(镜像带 procps,否则用 kubectl debug 挂一个带工具的临时容器)先看总体:c...

线上一个 Java 服务频繁被 Kubernetes 以 OOMKilled 杀掉,但翻应用自己的指标,堆内存峰值只有 500MB 左右,而容器 RSS 已经顶到 3GB 的 limit。堆内正常、容器超限,说明占用在堆外。下面把这次从现象到根因的排查顺序记录下来。

一、先确认到底是谁在吃内存

进容器(镜像带 procps,否则用 kubectl debug 挂一个带工具的临时容器)先看总体:

cat /proc/1/status | grep -E 'VmRSS|VmSwap|Threads'
smaps_rollup 能给出 RSS / PSS 的汇总,PSS 才是该进程真实独占的部分

本次 Threads 有 380+,VmRSS 2.9GB。线程数偏多是个信号:glibc 的动态内存分配器会为每个线程竞争 arena,而 arena 数量上限默认是 CPU 核数的 8 倍。

二、把 RSS 拆到每一段映射

堆内和堆外都体现在虚拟内存区域(VMA)上,按匿名内存排序最快:

cat /proc/1/smaps | awk '/^[0-9a-f]+-/ {name=$0} /^Rss:/ {split($2,a," "); print a[1], name}' | sort -rn | head -20

本次结果是一大片 name 为空(匿名映射)的 64MB 对齐小段,每段 RSS 几十 MB,加起来 1.5GB 以上。这个形状基本就是 glibc 的 malloc arena:每个 arena 64MB,内部再切成 heap 分段。

交叉验证两条:

# 看 arena 数量cat /proc/1/maps | grep -c '64MB 对齐的匿名段'pmap -x 1 | sort -k3 -n | tail -20

三、根因:arena 多 + 释放后不归还 OS

两个机制叠在一起:

  • 多线程并发 malloc 时,glibc 会新建 arena 来减少锁竞争,最多 8×CPU 个。容器里 CPU limit 是 2,但 glibc 读到的是宿主核数,会按宿主核数建 arena,池子比预期大得多。
  • free 只是把 chunk 还给 arena 的空闲链表,arena 顶部的堆如果还在被引用,下面的空闲页就无法收缩归还给内核,于是 RSS 只涨不降。

四、修法

按侵入性从小到大:

# 1. 限制 arena 数量(最简单,先试这个)ENV MALLOC_ARENA_MAX=2# 或运行时-kv MALLOC_ARENA_MAX=2# 2. 换成 jemalloc,归还更积极ENV LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libjemalloc.so.2# 3. JVM 侧把堆上限写清楚,避免堆外预算被挤占ENV JAVA_OPTS="-XX:MaxRAMPercentage=70 -Xss512k"

本次上线 MALLOC_ARENA_MAX=2 后,RSS 从 2.9GB 降到 1.2GB 左右且不再爬升;再配合把线程池从 300 调到 50,彻底不再 OOMKilled。换 jemalloc 收益更稳,但要多一轮压测确认吞吐没有回退。

五、几点经验

  • 监控要同时看容器 RSS 和 JVM 堆内,两者差值就是堆外预算。K8s 的 memory working set 不算 page cache,别拿它和 JVM 指标直接对比。
  • Java 堆外大头一般是:Netty 直接内存、MMAP、线程栈(线程数 × Xss)、Metaspace、JNI/分配器本身。先看形状再猜原因。
  • 容器里读到的 CPU 核数不一定是 limit,glibc 老版本会按宿主核数建线程池和 arena,这也是很多“同样的镜像在本地没问题、上容器就涨”的根因。
  • 调 MALLOC_ARENA_MAX 会提高分配锁竞争,高并发分配场景要压一下吞吐。
  • 排查顺序固定下来:先分诊堆内/堆外 → 再拆 VMA 看形状 → 然后定位分配器或具体模块 → 最后才改参数。

一句话总结:堆内存正常不代表没事,分配器的空闲页也是内存。看到 RSS 和堆内对不上,先去数一数 arena。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。