线上频繁 Full GC、接口周期性卡顿:一个没调 remove() 的 ThreadLocal,让老年代永远回收不掉
线上服务每隔一阵子就“抽风”:接口响应从几十毫秒突然飙到几秒,持续十几秒后自己又恢复。看监控,Full GC 次数在高峰期明显增多,老年代占用像锯齿一样反复冲高。
这类“周期性卡顿 + Full GC 频繁”的问题,最常见的误判是“内存不够,加内存”。但加完内存只能延长复发周期,治标不治本。这篇记录完整的排查过程,最终根因是一个 ThreadLocal 变量忘了调 remove()。
先说现象
-
接口间歇性变慢,表现为周期性、成片出现,不是持续恶化;
-
每次卡顿持续 10~20 秒,然后自动恢复;
-
Full GC 频率在业务高峰明显上升,单次 Full GC 耗时达到秒级;
-
老年代占用在高位反复震荡,降不到正常水位,且随时间缓慢抬高;
-
重启后彻底恢复正常,几天后再次复发。
这几个特征指向一个方向:有对象能被回收,但回收得很吃力,且回收后仍然残留一部分。如果是纯内存泄漏,老年代会只涨不降直到 OOM;如果是正常对象,Full GC 后应该回到低位。现在这种“高位震荡、缓慢抬高”的曲线,说明大量对象存活时间长,且每次回收后仍有一批被意外地牢牢引用着。
第一步:先看 GC 日志,确认是老年代的问题
如果 JVM 没开 GC 日志,先通过 jinfo 补上(生产环境建议默认就开):
jinfo -flag +PrintGCDetails <pid>
或者如果是启动参数里已经开了 -Xlog:gc*(JDK 9+)或 -XX:+PrintGCDetails(JDK 8),直接拿最近的日志分析:
# JDK 9+ 的 unified logging grep "Pause Full" gc.log | tail -20 # JDK 8 老格式 grep "Full GC" gc.log | tail -20
看几条 Full GC 记录:
[Full GC (Ergonomics) [PSYoungGen: 512M->0M(512M)] [ParOldGen: 1820M->1710M(2048M)] 2332M->1710M(2560M), 1.87s]
关键信息有两个:
-
Full GC 后老年代只从 1820M 降到 1710M——回收了不到 10%,说明大量对象是存活的;
-
单次 Full GC 耗时 1.87 秒——对于在线服务,这个停顿足以让接口超时。
老年代回收率极低 + 单次停顿长,基本可以断定:有一批对象被不该有的引用“钉”在了老年代里,每次 GC 只能回收掉边角料。
第二步:dump 堆内存,看谁占着老年代
光看 GC 日志只能知道“回收不掉”,不知道“是谁”。继续抓堆快照:
jmap -dump:live,format=b,file=heap.hprof <pid>
注意 live 参数:它只 dump 存活对象,避免把大量待回收垃圾也带进来,文件更小、分析更快。dump 的瞬间会 STW,生产环境挑低峰期执行,或者直接找一台已经出问题的实例来做。
用 MAT(Eclipse Memory Analyzer)或者命令行工具 jhat / jcmd 打开,先看“Leak Suspects”报告,再看 Dominator Tree(支配树)里占内存最大的对象。
在我的 dump 里,Dominator Tree 第一名不是某个业务对象,而是一个看着很扎眼的结构:
java.lang.ThreadLocal$ThreadLocalMap — 约 1.4 GB └── java.lang.ThreadLocal$ThreadLocalMap$Entry[] └── com.example.context.UserContext (数千个实例)
一个 ThreadLocalMap 占了 1.4GB,里面挂着几千个 UserContext 实例。 到这一步,方向已经很清楚了。
第三步:顺着引用链,找到“谁持有它”
在 MAT 里对 ThreadLocalMap 展开“Path to GC Roots”(排除弱引用/软引用),会看到它被大量工作线程持有:
ThreadLocalMap ← java.lang.Thread ← java.util.concurrent.ThreadPoolExecutor$Worker ← ThreadPoolExecutor(业务线程池)
这是 ThreadLocal 的经典结构:每个 Thread 内部有一个 ThreadLocalMap,Map 里的 Entry 的 key 是弱引用指向 ThreadLocal,value 是强引用指向实际对象。
问题出在 value 上:如果 ThreadLocal 对象本身被回收了,key 变成 null,但 value 仍然被 Entry 强引用着。更要命的是,线程池里的线程是复用的,线程不死,这个 ThreadLocalMap 就一直跟着它。
第四步:读代码,找到没调 remove() 的地方
定位到 UserContext:
public class UserContext { private static final ThreadLocal<UserContext> HOLDER = new ThreadLocal<>(); private String userId; private Map<String, Object> attributes = new HashMap<>(); // 每个请求往里塞数据 public static void set(UserContext ctx) { HOLDER.set(ctx); } public static UserContext get() { return HOLDER.get(); } // 没有 clear() / remove() 方法 }
在拦截器里,每个请求进来时 UserContext.set(...),请求结束时没有任何地方调用 HOLDER.remove():
public class AuthInterceptor implements HandlerInterceptor { @Override public boolean preHandle(HttpServletRequest req, HttpServletResponse resp, Object handler) { UserContext ctx = new UserContext(); ctx.setUserId(req.getHeader("X-User-Id")); ctx.getAttributes().put("traceId", ...); ctx.getAttributes().put("requestParams", ...); // 每次请求塞一堆东西 UserContext.set(ctx); return true; } // 没有 afterCompletion 里调 UserContext.remove() }
再结合线程池:Tomcat 的工作线程、业务自定义线程池的线程都是复用的。一个线程处理完请求后,它内部的 ThreadLocalMap 里还留着上一个请求的 UserContext 及其 attributes。下一个请求进来又 set 一个新的,旧的 ThreadLocalMap.Entry 因为 value 强引用没断,就一直挂在老年代里,直到线程本身被回收——而线程池的线程几乎永远不会被回收。
结果就是:每个请求都往线程的 ThreadLocalMap 里塞一份数据,线程数 × 请求量 决定了老年代的增长速度。 这就是为什么老年代“只涨不降、缓慢抬高”,也是为什么 Full GC 回收不掉——这些对象全都是“存活”的。
第五步:修复
修复分两层,缺一不可。
第一层:补上 remove(),这是根治。 在拦截器的 afterCompletion 里,无论请求成功还是异常,都要清理:
@Override public void afterCompletion(HttpServletRequest req, HttpServletResponse resp, Object handler, Exception ex) { try { UserContext.remove(); // 必须放在 finally 语义的位置 } finally { // 确保清理一定执行 UserContext.remove(); } }
public static void remove() { HOLDER.remove(); // 关键:调用 ThreadLocal.remove() }
第二层:把 ThreadLocal 用对。 几个硬性习惯:
-
ThreadLocal变量声明为static final,保证它是单例、生命周期明确(题外话:这不能防泄漏,但能防误用); -
只要用了
set(),就必须有配对的remove(),放在finally或拦截器的afterCompletion里; -
ThreadLocal里不放“大对象”。如果UserContext里塞了requestParams这类可能很大的结构,等于把请求体也钉在内存里; -
如果框架本身(比如某些日志 MDC、事务上下文)已经用了
ThreadLocal,要确保框架在结束时清理了它——不要假设框架替你做好了。
改完之后观察:Full GC 频率显著下降,老年代占用从“高位震荡”变成“低位平稳”,接口的周期性卡顿消失。
复盘:几个值得记住的点
1. “Full GC 频繁”先分清是“回收不掉”还是“产生太快”。 看 Full GC 后的老年代水位:如果几乎不降,是对象被错误持有(本案例);如果降得很低但很快又涨回来,是对象产生速率过高。两者的排查方向完全不同。
2. ThreadLocal 泄漏的画像非常固定:老年代缓慢抬高、Full GC 回收率低、线程数越多泄漏越快。 一旦在 Dominator Tree 里看到 ThreadLocalMap 排在前面,基本可以直接锁定。
3. 线程池放大了 ThreadLocal 泄漏的危害。 单次请求用完不清理,影响可能只是一次;但在线程池里,泄漏会随着线程复用不断累积,直到老年代被撑爆。这也是为什么“本地跑得好好的,上线几天就出问题”。
4. jmap -dump:live 是排查内存问题的标配。 不加 live 会把待回收垃圾也 dump 下来,文件大、分析慢,还容易误判“垃圾对象”。dump 的对象是“存活对象”,看到的才是真正被引用着的东西。
5. 加内存、调 GC 参数,都只是拖延。 老年代从 2G 加到 8G,泄漏速度不变,只是把复发周期从 3 天拉长到 12 天。先找到“谁在持有”,再谈内存优化。
附:常用排查命令速查
# 1. 补开 GC 日志(无需重启) jinfo -flag +PrintGCDetails <pid> # 2. 看 Full GC 回收率(JDK 9+) grep "Pause Full" gc.log | tail -20 # 3. dump 存活对象堆快照(live 只 dump 存活对象,但会 STW) jmap -dump:live,format=b,file=heap.hprof <pid> # 4. 用 jcmd 替代 jmap(JDK 9+ 推荐) jcmd <pid> GC.heap_dump -all heap.hprof # 5. 快速看各代内存占用 jstat -gcutil <pid> 1000 10 # 6. 线上快速定位大对象(不 dump 全量堆,看类直方图) jcmd <pid> GC.class_histogram | head -30
一句话收尾:Full GC 回收不掉,说明对象“还活着”;要做的不是加大内存,而是找到那个把对象“钉”住的引用。 ThreadLocal、静态集合、监听器注册、缓存无界增长——这几类持有方式,是线上内存问题的高发区。养成“set 必配 remove”的习惯,能帮你省掉一整轮深夜排障。
- 点赞
- 收藏
- 关注作者
评论(0)