容器 RSS 3GB、堆内只查到 500MB:一次 glibc malloc arena 排查实录
【摘要】 线上一个 Java 服务频繁被 Kubernetes 以 OOMKilled 杀掉,但翻应用自己的指标,堆内存峰值只有 500MB 左右,而容器 RSS 已经顶到 3GB 的 limit。堆内正常、容器超限,说明占用在堆外。下面把这次从现象到根因的排查顺序记录下来。一、先确认到底是谁在吃内存进容器(镜像带 procps,否则用 kubectl debug 挂一个带工具的临时容器)先看总体:c...
线上一个 Java 服务频繁被 Kubernetes 以 OOMKilled 杀掉,但翻应用自己的指标,堆内存峰值只有 500MB 左右,而容器 RSS 已经顶到 3GB 的 limit。堆内正常、容器超限,说明占用在堆外。下面把这次从现象到根因的排查顺序记录下来。
一、先确认到底是谁在吃内存
进容器(镜像带 procps,否则用 kubectl debug 挂一个带工具的临时容器)先看总体:
cat /proc/1/status | grep -E 'VmRSS|VmSwap|Threads'
smaps_rollup 能给出 RSS / PSS 的汇总,PSS 才是该进程真实独占的部分
本次 Threads 有 380+,VmRSS 2.9GB。线程数偏多是个信号:glibc 的动态内存分配器会为每个线程竞争 arena,而 arena 数量上限默认是 CPU 核数的 8 倍。
二、把 RSS 拆到每一段映射
堆内和堆外都体现在虚拟内存区域(VMA)上,按匿名内存排序最快:
cat /proc/1/smaps | awk '/^[0-9a-f]+-/ {name=$0} /^Rss:/ {split($2,a," "); print a[1], name}' | sort -rn | head -20
本次结果是一大片 name 为空(匿名映射)的 64MB 对齐小段,每段 RSS 几十 MB,加起来 1.5GB 以上。这个形状基本就是 glibc 的 malloc arena:每个 arena 64MB,内部再切成 heap 分段。
交叉验证两条:
# 看 arena 数量cat /proc/1/maps | grep -c '64MB 对齐的匿名段'pmap -x 1 | sort -k3 -n | tail -20
三、根因:arena 多 + 释放后不归还 OS
两个机制叠在一起:
- 多线程并发 malloc 时,glibc 会新建 arena 来减少锁竞争,最多 8×CPU 个。容器里 CPU limit 是 2,但 glibc 读到的是宿主核数,会按宿主核数建 arena,池子比预期大得多。
- free 只是把 chunk 还给 arena 的空闲链表,arena 顶部的堆如果还在被引用,下面的空闲页就无法收缩归还给内核,于是 RSS 只涨不降。
四、修法
按侵入性从小到大:
# 1. 限制 arena 数量(最简单,先试这个)ENV MALLOC_ARENA_MAX=2# 或运行时-kv MALLOC_ARENA_MAX=2# 2. 换成 jemalloc,归还更积极ENV LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libjemalloc.so.2# 3. JVM 侧把堆上限写清楚,避免堆外预算被挤占ENV JAVA_OPTS="-XX:MaxRAMPercentage=70 -Xss512k"
本次上线 MALLOC_ARENA_MAX=2 后,RSS 从 2.9GB 降到 1.2GB 左右且不再爬升;再配合把线程池从 300 调到 50,彻底不再 OOMKilled。换 jemalloc 收益更稳,但要多一轮压测确认吞吐没有回退。
五、几点经验
- 监控要同时看容器 RSS 和 JVM 堆内,两者差值就是堆外预算。K8s 的 memory working set 不算 page cache,别拿它和 JVM 指标直接对比。
- Java 堆外大头一般是:Netty 直接内存、MMAP、线程栈(线程数 × Xss)、Metaspace、JNI/分配器本身。先看形状再猜原因。
- 容器里读到的 CPU 核数不一定是 limit,glibc 老版本会按宿主核数建线程池和 arena,这也是很多“同样的镜像在本地没问题、上容器就涨”的根因。
- 调 MALLOC_ARENA_MAX 会提高分配锁竞争,高并发分配场景要压一下吞吐。
- 排查顺序固定下来:先分诊堆内/堆外 → 再拆 VMA 看形状 → 然后定位分配器或具体模块 → 最后才改参数。
一句话总结:堆内存正常不代表没事,分配器的空闲页也是内存。看到 RSS 和堆内对不上,先去数一数 arena。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)