一次 OOM 排查:从 heap dump 到引用链定位
问题背景:进程重启后还能留下什么
线上 Java 服务运行数小时后,Pod 被重启,日志里只留下一条 java.lang.OutOfMemoryError: Java heap space,或者连这条日志都没有,只有 Kubernetes 事件中的 OOMKilled。进程已经消失,现场只剩重启后的新实例,排查难度取决于 OOM 发生前有没有保留堆快照和辅助信息。
一个有效的排查顺序是:先确认 OOM 的类型和触发者,再获取 heap dump 与线程快照,然后用支配树和 GC Root 引用链回答“谁在持有这些对象”,最后才谈参数调整。直接加大 -Xmx 通常只是把爆炸时间往后推。
先分清是哪种 OOM
OutOfMemoryError 不只有“堆不够”一种。不同类型的处理路径差别很大:
Java heap space:堆内存耗尽,通常需要 heap dump。GC overhead limit exceeded:GC 花费过多时间却回收不到空间,仍然要回到堆对象分析。Metaspace:类元数据耗尽,常见于动态生成类、热部署或类加载器泄漏。Direct buffer memory:NIO 直接内存超过-XX:MaxDirectMemorySize,对象不在 Java 堆里,heap dump 只能看到DirectByteBuffer的引用。unable to create native thread:线程数或栈空间受限,检查线程池、-Xss、ulimit -u和容器pids.max。- 容器
OOMKilled:内核因为容器 RSS 超过 limit 而杀进程,JVM 可能来不及写 heap dump,退出码通常是 137。
还有一个容易被忽略的边界:Java 堆没有 OOM,并不代表进程内存安全。线程栈、直接内存、Metaspace、JNI 和 mmap 文件都可能把容器 RSS 推高;此时 heap dump 里的对象可能完全正常,必须结合 NMT、/proc/<pid>/status 的 VmRSS 和容器指标一起判断。
先看 JVM 自己的证据:
dmesg -T | grep -i -E 'oom|killed process'
kubectl describe pod <pod-name>
kubectl get pod <pod-name> \
-o jsonpath='{.status.containerStatuses[*].lastState.terminated.reason}'
OOMKilled 和 Error 要分开看:前者多为 cgroup 内存超限,后者可能是探针失败、应用异常退出或收到 SIGKILL。若启用了 Native Memory Tracking,还可以区分 Java 堆和本地内存:
java -XX:NativeMemoryTracking=summary -jar app.jar
jcmd <pid> VM.native_memory summary
NMT 会给出 Java Heap、Class、Thread、Code、GC、Internal、Other 等分类。堆使用不高但 RSS 持续上涨时,重点看线程栈、直接内存、Metaspace 和 JNI 分配,不能只盯着 heap dump。
抓取 heap dump 与线程快照
最可靠的现场来自 OOM 自动转储。生产参数至少应包含:
java -Xms4g -Xmx4g \
-XX:MaxMetaspaceSize=512m \
-XX:MaxDirectMemorySize=512m \
-XX:+UseG1GC \
-XX:+HeapDumpOnOutOfMemoryError \
-XX:HeapDumpPath=/data/dump \
-XX:ErrorFile=/data/dump/hs_err_pid%p.log \
-XX:+ExitOnOutOfMemoryError \
-jar app.jar
HeapDumpPath 必须指向存在且可写的目录,容量要能放下一份接近堆大小的 HPROF 文件。不要把转储目录放在内存盘或受容器内存限制的临时目录中,否则 dump 本身可能把容器推到 OOM。ExitOnOutOfMemoryError 适合由编排系统拉起新实例的场景;如果应用在 OOM 后还承担其他职责,需要评估是否启用。
进程仍然存活时,可以手工导出:
jcmd <pid> GC.heap_info
jcmd <pid> GC.class_histogram | head -40
jcmd <pid> GC.heap_dump /data/dump/heap-$(date +%Y%m%d%H%M).hprof
jstack -l <pid> > /data/dump/thread-$(date +%Y%m%d%H%M).txt
导出 heap dump 是重操作,可能带来较长停顿,生产环境要评估影响窗口。jcmd GC.heap_dump 和 jmap -dump:format=b,file=... <pid> 都能导出,但不要随手加 live:jmap -dump:live 会先触发一次 Full GC 再只保留存活对象,在已经濒临 OOM 的进程上可能直接失败。需要连不可达对象一起保留时,用 jcmd <pid> GC.heap_dump -all <file>;不同 JDK 版本对默认选项的处理有差异,执行前先查看本机 jcmd GC.help。
导出前先确认磁盘余量:df -h /data/dump,并记录文件大小和导出耗时。文件越大,MAT 打开越慢;可以先用 jcmd GC.class_histogram 或 jmap -histo 找到可疑类,再决定是否需要完整 dump。
如果只看到容器的退出记录,没有任何 dump,应在预发环境用相同镜像、相同流量模型复现,并提前打开自动转储和 NMT;不要在生产环境反复手工触发 Full GC 来“制造现场”。
在 MAT 中从对象走到 GC Root
拿到 HPROF 后,先用 Eclipse Memory Analyzer 打开,执行 Leak Suspects,再看 Histogram 和 Dominator Tree。Histogram 适合看类级别的实例数与浅堆大小,Dominator Tree 才是关键:它按“如果这个对象被回收,能释放多少内存”排序,能识别小对象持有大数组的情况。
例如下面的静态缓存没有容量上限:
@Component
public class SnapshotCache {
private static final Map<Long, byte[]> CACHE = new ConcurrentHashMap<>();
public void save(long skuId, byte[] snapshot) {
CACHE.put(skuId, snapshot);
}
}
在 MAT 中,byte[] 可能占据大部分堆,但真正需要关注的是支配关系:
SnapshotCache (class)
-> static CACHE (ConcurrentHashMap)
-> Node
-> byte[262144]
这类对象的 GC Root 通常是 System Class 的静态字段链。右键选择 Path to GC Roots,先排除 weak/soft/phantom 引用,避免被框架缓存中的弱引用带偏。MAT 会显示完整的 root 类型和路径;如果根是 Thread,就要继续看线程栈和 ThreadLocalMap,而不是只盯着业务类。
线程池场景下,另一个常见引用链是:
Thread "pool-1-thread-7"
-> ThreadLocalMap (threadLocals)
-> ThreadLocal$ThreadLocalMap$Entry
-> value byte[8388608]
这通常来自 ThreadLocal 使用后没有 remove(),或者线程池中的工作线程长期存活,把请求级对象一并带进了下一次任务。ThreadLocalMap 的 key 是弱引用,value 是强引用;当 ThreadLocal 对象不再被外部引用时,key 会被清掉,但 value 仍可能留在 Entry 里,直到下一次清理才释放。jstack 可以帮助确认线程归属和任务类型,heap dump 则回答“谁持有它”。把两者按时间点对齐,才能区分是偶发大对象、缓存累积,还是线程泄漏。
如果 Histogram 中 byte[]、java.lang.String 或某个业务类异常突出,不要立刻下结论,先看 Dominator Tree 的 retained size 和引用链;MAT 的 Histogram 可以按 class loader 过滤,排查插件或动态加载器时很有用。对线程相关的泄漏,连续抓取三份 jstack(间隔 5 秒)能看出线程是否卡在同一位置;如果线程栈里出现大量相同业务方法,再回到 heap dump 找该线程持有的集合。
分析时还要看多个时间点的 dump。连续两次间隔几分钟导出,比较支配树中 retained size 的增长,比单次快照更能确认泄漏趋势。MAT 的 Compare Basket 可以辅助对比,但要注意两次 dump 之间正常的缓存预热也会造成差异。
修复与防复发
定位到持有链之后,修复方向通常不是调大堆,而是切断无界持有:
- 缓存必须有上限和过期策略。 用 Caffeine 的
maximumWeight或expireAfterAccess控制总内存,而不是只设置maximumSize忽略 value 大小:
Cache<Long, byte[]> cache = Caffeine.newBuilder()
.maximumWeight(256L * 1024 * 1024)
.weigher((Long key, byte[] value) -> value.length)
.expireAfterAccess(Duration.ofMinutes(10))
.build();
- ThreadLocal 在 finally 中清理。 尤其在线程池里,
remove()不是可选项:
private static final ThreadLocal<byte[]> BUFFER =
ThreadLocal.withInitial(() -> new byte[1024 * 1024]);
public void handle() {
try {
byte[] buf = BUFFER.get();
// 使用 buf
} finally {
BUFFER.remove();
}
}
- 队列要有界并配置背压。
LinkedBlockingQueue不传容量时近似无界,生产者速度超过消费者时会以 OOM 的形式暴露;应设置容量并明确拒绝策略。 - 容器内存要留余量。
-Xmx只是 Java 堆上限,容器 limit 还要容纳 Metaspace、直接内存、线程栈、Code Cache 和 GC 自身开销。使用-XX:MaxRAMPercentage=70或显式堆大小,并依据 NMT 和压测结果校准,不能把 limit 直接等于-Xmx。 - 把转储和监控纳入常态。 开启
HeapDumpOnOutOfMemoryError、保留hs_err_pid日志、采集堆使用率和 GC 停顿指标;对容器 OOMKilled 还要监控 RSS 与 limit 的比值,因为这种场景往往不会留下 Java 层的 OOM 日志。
- 点赞
- 收藏
- 关注作者
评论(0)