线上服务内存只涨不降,我用这四步定位到泄漏点

举报
yd_214121775 发表于 2026/11/11 00:19:27 2026/11/11
【摘要】 线上 FastAPI 服务 RSS 一周从 300MB 涨到 1.8GB。记录从 VmRSS 判断、tracemalloc 快照对比、objgraph 引用链到修复验证的完整排查路径,以及三个容易踩的坑。

现象

一个 FastAPI 服务上线一周后,监控显示 RSS 从 300MB 缓慢涨到 1.8GB,重启后恢复正常,几天后又涨回去。CPU 不高、请求量平稳,典型的"只涨不降"。

内存问题难在定位,不在修复。下面是我实际跑通的四步排查路径。

第一步:先分清是泄漏还是缓存

很多人看到 RSS 上涨就认定泄漏,其实 Python 进程里的内存分三块:Python 对象、内存分配器(glibc malloc / jemalloc)保留的空闲页、以及共享库。

先看两个数字:

ps -o pid,rss,vsz,cmd -p <pid>
cat /proc/<pid>/status | grep -E "VmRSS|VmSize|RssAnon|RssFile"

如果 VmRSS 涨、VmSize 基本稳定,大概率是堆内对象增长;如果 VmSize 也同步涨且很快,警惕线程栈或 large mmap。

再用 pmap -x <pid> 看匿名段分布。我的服务里 [anon] 段持续增长,其他段稳定,可以确定问题在 Python 堆里。

第二步:确认对象是否被回收

用 tracemalloc 做一次快照对比,比直接上 profiler 更轻:

import tracemalloc

tracemalloc.start(25)

snap1 = tracemalloc.take_snapshot()
# ... 跑一段业务请求后 ...
snap2 = tracemalloc.take_snapshot()

for stat in snap2.compare_to(snap1, "lineno")[:10]:
    print(stat)

如果 top 里出现你自己的业务文件,基本锁定;如果全是 lib/python3.x/...,说明是标准库或第三方库里被业务代码持有的对象,要继续看引用链。

我在快照里看到大量 asyncio/tasks.py 的对象,但真正的持有者是一个全局字典——这是关键线索。

第三步:找引用链,而不是找"谁分配"

tracemalloc 能告诉你"在哪分配",但泄漏的本质是"被谁一直持有"。

import gc, objgraph

gc.collect()
objgraph.show_most_common_types(limit=15)
obj = objgraph.by_type("Task")[0]
objgraph.show_backrefs([obj], max_depth=6, filename="refs.png")

我的 Task 对象被一个 dict 引用,而那个 dict 是模块级缓存:每次请求把 task_id -> task 写进去,成功路径删除,异常路径忘了删。请求量不大,但异常分支每天触发几次,一周下来就是上万个 Task,每个都拖着上下文和协程栈。

第四步:验证修复,盯三个指标

修复很简单:用 weakref.WeakValueDictionary 或在 finally 里清理。但验证不能只看"重启后不涨",建议盯三个指标一周:

  1. VmRSS 在压测后的回落曲线(是否回到基线附近);
  2. gc.get_objects() 里业务对象数量是否稳定;
  3. 长稳环境下的 RssAnon 增速(正常应接近 0)。

几个容易忽略的点

  • 别在线上开 tracemalloc 全量追踪,开销明显,先用采样或在预发复现。
  • glibc 的 arena 会保留空闲内存,RSS 不回落不一定还是泄漏,可以用 MALLOC_TRIM_THRESHOLD_ 或 malloc_trim 验证。
  • 异步服务里"忘记 await 的协程"和"提前 return 没走 finally" 是最常见的两类泄漏源,前者还会伴随"任务未执行",后者只表现为内存缓慢上涨。

内存问题排查的性价比很高:一次定位,能省掉后续每周一次的被动重启。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。