一次 OOM 排查:从 heap dump 到引用链定位

举报
yd_254019812 发表于 2026/11/19 07:31:21 2026/11/19
【摘要】 一次线上 OOM 排查:先保留堆转储并区分 Java 堆、元空间、直接内存与容器 OOMKilled,再用支配树和 GC Root 引用链定位泄漏对象,最后给出 JVM 启动参数、命令及缓存和 ThreadLocal 的修复建议。

问题背景:进程重启后还能留下什么

线上 Java 服务运行数小时后,Pod 被重启,日志里只留下一条 java.lang.OutOfMemoryError: Java heap space,或者连这条日志都没有,只有 Kubernetes 事件中的 OOMKilled。进程已经消失,现场只剩重启后的新实例,排查难度取决于 OOM 发生前有没有保留堆快照和辅助信息。

一个有效的排查顺序是:先确认 OOM 的类型和触发者,再获取 heap dump 与线程快照,然后用支配树和 GC Root 引用链回答“谁在持有这些对象”,最后才谈参数调整。直接加大 -Xmx 通常只是把爆炸时间往后推。

先分清是哪种 OOM

OutOfMemoryError 不只有“堆不够”一种。不同类型的处理路径差别很大:

  • Java heap space:堆内存耗尽,通常需要 heap dump。
  • GC overhead limit exceeded:GC 花费过多时间却回收不到空间,仍然要回到堆对象分析。
  • Metaspace:类元数据耗尽,常见于动态生成类、热部署或类加载器泄漏。
  • Direct buffer memory:NIO 直接内存超过 -XX:MaxDirectMemorySize,对象不在 Java 堆里,heap dump 只能看到 DirectByteBuffer 的引用。
  • unable to create native thread:线程数或栈空间受限,检查线程池、-Xss、ulimit -u 和容器 pids.max。
  • 容器 OOMKilled:内核因为容器 RSS 超过 limit 而杀进程,JVM 可能来不及写 heap dump,退出码通常是 137。

还有一个容易被忽略的边界:Java 堆没有 OOM,并不代表进程内存安全。线程栈、直接内存、Metaspace、JNI 和 mmap 文件都可能把容器 RSS 推高;此时 heap dump 里的对象可能完全正常,必须结合 NMT、/proc/<pid>/status 的 VmRSS 和容器指标一起判断。

先看 JVM 自己的证据:

dmesg -T | grep -i -E 'oom|killed process'
kubectl describe pod <pod-name>
kubectl get pod <pod-name> \
  -o jsonpath='{.status.containerStatuses[*].lastState.terminated.reason}'

OOMKilled 和 Error 要分开看:前者多为 cgroup 内存超限,后者可能是探针失败、应用异常退出或收到 SIGKILL。若启用了 Native Memory Tracking,还可以区分 Java 堆和本地内存:

java -XX:NativeMemoryTracking=summary -jar app.jar
jcmd <pid> VM.native_memory summary

NMT 会给出 Java Heap、Class、Thread、Code、GC、Internal、Other 等分类。堆使用不高但 RSS 持续上涨时,重点看线程栈、直接内存、Metaspace 和 JNI 分配,不能只盯着 heap dump。

抓取 heap dump 与线程快照

最可靠的现场来自 OOM 自动转储。生产参数至少应包含:

java -Xms4g -Xmx4g \
  -XX:MaxMetaspaceSize=512m \
  -XX:MaxDirectMemorySize=512m \
  -XX:+UseG1GC \
  -XX:+HeapDumpOnOutOfMemoryError \
  -XX:HeapDumpPath=/data/dump \
  -XX:ErrorFile=/data/dump/hs_err_pid%p.log \
  -XX:+ExitOnOutOfMemoryError \
  -jar app.jar

HeapDumpPath 必须指向存在且可写的目录,容量要能放下一份接近堆大小的 HPROF 文件。不要把转储目录放在内存盘或受容器内存限制的临时目录中,否则 dump 本身可能把容器推到 OOM。ExitOnOutOfMemoryError 适合由编排系统拉起新实例的场景;如果应用在 OOM 后还承担其他职责,需要评估是否启用。

进程仍然存活时,可以手工导出:

jcmd <pid> GC.heap_info
jcmd <pid> GC.class_histogram | head -40
jcmd <pid> GC.heap_dump /data/dump/heap-$(date +%Y%m%d%H%M).hprof
jstack -l <pid> > /data/dump/thread-$(date +%Y%m%d%H%M).txt

导出 heap dump 是重操作,可能带来较长停顿,生产环境要评估影响窗口。jcmd GC.heap_dump 和 jmap -dump:format=b,file=... <pid> 都能导出,但不要随手加 live:jmap -dump:live 会先触发一次 Full GC 再只保留存活对象,在已经濒临 OOM 的进程上可能直接失败。需要连不可达对象一起保留时,用 jcmd <pid> GC.heap_dump -all <file>;不同 JDK 版本对默认选项的处理有差异,执行前先查看本机 jcmd GC.help。

导出前先确认磁盘余量:df -h /data/dump,并记录文件大小和导出耗时。文件越大,MAT 打开越慢;可以先用 jcmd GC.class_histogram 或 jmap -histo 找到可疑类,再决定是否需要完整 dump。

如果只看到容器的退出记录,没有任何 dump,应在预发环境用相同镜像、相同流量模型复现,并提前打开自动转储和 NMT;不要在生产环境反复手工触发 Full GC 来“制造现场”。

在 MAT 中从对象走到 GC Root

拿到 HPROF 后,先用 Eclipse Memory Analyzer 打开,执行 Leak Suspects,再看 Histogram 和 Dominator Tree。Histogram 适合看类级别的实例数与浅堆大小,Dominator Tree 才是关键:它按“如果这个对象被回收,能释放多少内存”排序,能识别小对象持有大数组的情况。

例如下面的静态缓存没有容量上限:

@Component
public class SnapshotCache {
    private static final Map<Long, byte[]> CACHE = new ConcurrentHashMap<>();

    public void save(long skuId, byte[] snapshot) {
        CACHE.put(skuId, snapshot);
    }
}

在 MAT 中,byte[] 可能占据大部分堆,但真正需要关注的是支配关系:

SnapshotCache (class)
  -> static CACHE (ConcurrentHashMap)
    -> Node
      -> byte[262144]

这类对象的 GC Root 通常是 System Class 的静态字段链。右键选择 Path to GC Roots,先排除 weak/soft/phantom 引用,避免被框架缓存中的弱引用带偏。MAT 会显示完整的 root 类型和路径;如果根是 Thread,就要继续看线程栈和 ThreadLocalMap,而不是只盯着业务类。

线程池场景下,另一个常见引用链是:

Thread "pool-1-thread-7"
  -> ThreadLocalMap (threadLocals)
    -> ThreadLocal$ThreadLocalMap$Entry
      -> value byte[8388608]

这通常来自 ThreadLocal 使用后没有 remove(),或者线程池中的工作线程长期存活,把请求级对象一并带进了下一次任务。ThreadLocalMap 的 key 是弱引用,value 是强引用;当 ThreadLocal 对象不再被外部引用时,key 会被清掉,但 value 仍可能留在 Entry 里,直到下一次清理才释放。jstack 可以帮助确认线程归属和任务类型,heap dump 则回答“谁持有它”。把两者按时间点对齐,才能区分是偶发大对象、缓存累积,还是线程泄漏。

如果 Histogram 中 byte[]、java.lang.String 或某个业务类异常突出,不要立刻下结论,先看 Dominator Tree 的 retained size 和引用链;MAT 的 Histogram 可以按 class loader 过滤,排查插件或动态加载器时很有用。对线程相关的泄漏,连续抓取三份 jstack(间隔 5 秒)能看出线程是否卡在同一位置;如果线程栈里出现大量相同业务方法,再回到 heap dump 找该线程持有的集合。

分析时还要看多个时间点的 dump。连续两次间隔几分钟导出,比较支配树中 retained size 的增长,比单次快照更能确认泄漏趋势。MAT 的 Compare Basket 可以辅助对比,但要注意两次 dump 之间正常的缓存预热也会造成差异。

修复与防复发

定位到持有链之后,修复方向通常不是调大堆,而是切断无界持有:

  • 缓存必须有上限和过期策略。 用 Caffeine 的 maximumWeight 或 expireAfterAccess 控制总内存,而不是只设置 maximumSize 忽略 value 大小:
Cache<Long, byte[]> cache = Caffeine.newBuilder()
    .maximumWeight(256L * 1024 * 1024)
    .weigher((Long key, byte[] value) -> value.length)
    .expireAfterAccess(Duration.ofMinutes(10))
    .build();
  • ThreadLocal 在 finally 中清理。 尤其在线程池里,remove() 不是可选项:
private static final ThreadLocal<byte[]> BUFFER =
        ThreadLocal.withInitial(() -> new byte[1024 * 1024]);

public void handle() {
    try {
        byte[] buf = BUFFER.get();
        // 使用 buf
    } finally {
        BUFFER.remove();
    }
}
  • 队列要有界并配置背压。 LinkedBlockingQueue 不传容量时近似无界,生产者速度超过消费者时会以 OOM 的形式暴露;应设置容量并明确拒绝策略。
  • 容器内存要留余量。 -Xmx 只是 Java 堆上限,容器 limit 还要容纳 Metaspace、直接内存、线程栈、Code Cache 和 GC 自身开销。使用 -XX:MaxRAMPercentage=70 或显式堆大小,并依据 NMT 和压测结果校准,不能把 limit 直接等于 -Xmx。
  • 把转储和监控纳入常态。 开启 HeapDumpOnOutOfMemoryError、保留 hs_err_pid 日志、采集堆使用率和 GC 停顿指标;对容器 OOMKilled 还要监控 RSS 与 limit 的比值,因为这种场景往往不会留下 Java 层的 OOM 日志。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。