Linux OOM Killer:内存明明还有,进程怎么被杀了

举报
yd_252769024 发表于 2026/11/19 06:06:09 2026/11/19
【摘要】 服务进程毫无征兆消失,日志里只有一行 Out of memory: Killed process。本文讲清 OOM Killer 触发的是分配失败而非整机内存耗尽、overcommit 超卖与 cgroup 上限的区别、badness 打分逻辑,并给出 dmesg/journalctl、oom_score_adj、memory.events 的排查顺序与容量规划建议。

Linux OOM Killer:内存明明还有,进程怎么被杀了

半夜告警,一个跑了几天好好的服务进程突然没了。应用日志停在最后一行,没有异常堆栈,systemctl status 只显示进程被 Killed。可 free -h 一看,内存还剩几百 MB,Swap 也没用满。这时候别急着翻业务代码,先看内核日志:

dmesg -T | grep -i -E 'out of memory|oom|killed process'
journalctl -k --since "2 hours ago" | grep -i oom

如果看到 Out of memory: Killed process 12345 (java) total-vm:...,那就是内核的 OOM Killer 动的手。它不是系统「内存用完了」,而是一次内存分配在允许的范围里找不到足够的页,回收页缓存后仍然满足不了。

为什么「还有内存」也会 OOM

  1. overcommit 超卖。vm.overcommit_memory 默认为 0,内核会启发式地接受大部分 malloc,真正写入时才分配物理页。所以「申请成功」不等于「拿得到内存」,批量导入、缓存预热这类突发写入会把欠的账一次性集中兑付。
  2. 撞上 cgroup 上限(最常见)。容器或 systemd 服务设了 MemoryMax / memory.limit_in_bytes,组内进程申请超过上限时触发的是 memcg OOM,只杀这个组里的进程,整机 free 看起来完全正常。日志里会带 Memory cgroup out of memory 和 cgroup 路径,这是与全局 OOM 最关键的区别。
  3. 特定 zone 或不可回收页耗尽。低端内存、DMA 区域、透明大页无法及时回收,也会让分配失败,哪怕总空闲内存不少。

badness 打分:为什么偏偏杀它

内核给每个候选进程算 oom_score(0~1000),主要按占用的内存总量(RSS + 页缓存 + swap)计分,占用越大分越高,再叠加 oom_score_adj 修正。于是 Java 堆、数据库这类「大块头」常常首当其冲,而真正泄漏的那个小进程反而活着。

cat /proc/<PID>/oom_score        # 当前得分
cat /proc/<PID>/oom_score_adj    # 人工修正值,-1000 表示禁止被选中
echo -1000 > /proc/<PID>/oom_score_adj
# systemd 服务更推荐写进 unit:OOMScoreAdjust=-800

内核日志中被杀对象那一段会列出 task=、oom_score_adj=、各 zone 的空闲页与候选列表,值得完整读一遍,它能告诉你到底是全局还是 cgroup 级 OOM。

排查顺序

  1. dmesg -T | grep -i oom 确认类型(全局 or memcg)与被杀进程。
  2. journalctl -u <service> --since ... 对齐时间点,看进程消失前有没有大内存动作:批量导出、缓存预热、JIT、堆自动扩容。
  3. cgroup v2 看 cat /sys/fs/cgroup/memory.max 和 memory.current;systemd 看 systemctl show <svc> -p MemoryMax。
  4. grep -E 'CommitLimit|Committed_AS' /proc/meminfo,Committed_AS 长期逼近 CommitLimit 说明超卖严重。

预防与处置

  • 给容量留边界:按实测峰值设容器/服务内存上限,并让应用堆上限(如 -Xmx)明显小于该上限,给堆外内存、线程栈、页缓存留出余量。堆上限贴着容器上限设,是 memcg OOM 最常见的成因。
  • 别用 Swap 掩盖问题:Swap 只是拖时间,还会让延迟剧烈抖动;对延迟敏感的服务,宁可快速失败并由编排层重启。
  • 保护关键进程:主进程设 OOMScoreAdjust=-800,让 OOM 优先牺牲可重启的工作进程;同时配合监控把内存增长提前暴露。
  • 改 overcommit 要谨慎:vm.overcommit_memory=2 配 overcommit_ratio 会让 malloc 更早失败,但不少运行时会误判为系统不可用,先在预发压测再动。
  • 把 OOM 做成告警:cgroup v2 的 memory.events 里有 oom_kill 计数,加上 Committed_AS 和进程 RSS 增长率,比事后翻 dmesg 有用得多。

小结

OOM Killer 的触发条件是「这次分配拿不到页」,不是「整机内存耗尽」。先分清全局还是 cgroup 级,再看 badness 打分与打分修正,最后从容量规划、堆上限、关键进程保护三处下手。把 oom_kill 计数接进告警,下一次就不用半夜靠 dmesg 破案了。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。