线上服务内存只涨不降,我用这四步定位到泄漏点
现象
一个 FastAPI 服务上线一周后,监控显示 RSS 从 300MB 缓慢涨到 1.8GB,重启后恢复正常,几天后又涨回去。CPU 不高、请求量平稳,典型的"只涨不降"。
内存问题难在定位,不在修复。下面是我实际跑通的四步排查路径。
第一步:先分清是泄漏还是缓存
很多人看到 RSS 上涨就认定泄漏,其实 Python 进程里的内存分三块:Python 对象、内存分配器(glibc malloc / jemalloc)保留的空闲页、以及共享库。
先看两个数字:
ps -o pid,rss,vsz,cmd -p <pid>
cat /proc/<pid>/status | grep -E "VmRSS|VmSize|RssAnon|RssFile"
如果 VmRSS 涨、VmSize 基本稳定,大概率是堆内对象增长;如果 VmSize 也同步涨且很快,警惕线程栈或 large mmap。
再用 pmap -x <pid> 看匿名段分布。我的服务里 [anon] 段持续增长,其他段稳定,可以确定问题在 Python 堆里。
第二步:确认对象是否被回收
用 tracemalloc 做一次快照对比,比直接上 profiler 更轻:
import tracemalloc
tracemalloc.start(25)
snap1 = tracemalloc.take_snapshot()
# ... 跑一段业务请求后 ...
snap2 = tracemalloc.take_snapshot()
for stat in snap2.compare_to(snap1, "lineno")[:10]:
print(stat)
如果 top 里出现你自己的业务文件,基本锁定;如果全是 lib/python3.x/...,说明是标准库或第三方库里被业务代码持有的对象,要继续看引用链。
我在快照里看到大量 asyncio/tasks.py 的对象,但真正的持有者是一个全局字典——这是关键线索。
第三步:找引用链,而不是找"谁分配"
tracemalloc 能告诉你"在哪分配",但泄漏的本质是"被谁一直持有"。
import gc, objgraph
gc.collect()
objgraph.show_most_common_types(limit=15)
obj = objgraph.by_type("Task")[0]
objgraph.show_backrefs([obj], max_depth=6, filename="refs.png")
我的 Task 对象被一个 dict 引用,而那个 dict 是模块级缓存:每次请求把 task_id -> task 写进去,成功路径删除,异常路径忘了删。请求量不大,但异常分支每天触发几次,一周下来就是上万个 Task,每个都拖着上下文和协程栈。
第四步:验证修复,盯三个指标
修复很简单:用 weakref.WeakValueDictionary 或在 finally 里清理。但验证不能只看"重启后不涨",建议盯三个指标一周:
VmRSS在压测后的回落曲线(是否回到基线附近);gc.get_objects()里业务对象数量是否稳定;- 长稳环境下的
RssAnon增速(正常应接近 0)。
几个容易忽略的点
- 别在线上开
tracemalloc全量追踪,开销明显,先用采样或在预发复现。 - glibc 的 arena 会保留空闲内存,RSS 不回落不一定还是泄漏,可以用
MALLOC_TRIM_THRESHOLD_或malloc_trim验证。 - 异步服务里"忘记 await 的协程"和"提前 return 没走 finally" 是最常见的两类泄漏源,前者还会伴随"任务未执行",后者只表现为内存缓慢上涨。
内存问题排查的性价比很高:一次定位,能省掉后续每周一次的被动重启。
- 点赞
- 收藏
- 关注作者
评论(0)