Linux OOM Killer:内存明明还有,进程怎么被杀了
【摘要】 服务进程毫无征兆消失,日志里只有一行 Out of memory: Killed process。本文讲清 OOM Killer 触发的是分配失败而非整机内存耗尽、overcommit 超卖与 cgroup 上限的区别、badness 打分逻辑,并给出 dmesg/journalctl、oom_score_adj、memory.events 的排查顺序与容量规划建议。
Linux OOM Killer:内存明明还有,进程怎么被杀了
半夜告警,一个跑了几天好好的服务进程突然没了。应用日志停在最后一行,没有异常堆栈,systemctl status 只显示进程被 Killed。可 free -h 一看,内存还剩几百 MB,Swap 也没用满。这时候别急着翻业务代码,先看内核日志:
dmesg -T | grep -i -E 'out of memory|oom|killed process'
journalctl -k --since "2 hours ago" | grep -i oom
如果看到 Out of memory: Killed process 12345 (java) total-vm:...,那就是内核的 OOM Killer 动的手。它不是系统「内存用完了」,而是一次内存分配在允许的范围里找不到足够的页,回收页缓存后仍然满足不了。
为什么「还有内存」也会 OOM
- overcommit 超卖。
vm.overcommit_memory默认为 0,内核会启发式地接受大部分malloc,真正写入时才分配物理页。所以「申请成功」不等于「拿得到内存」,批量导入、缓存预热这类突发写入会把欠的账一次性集中兑付。 - 撞上 cgroup 上限(最常见)。容器或 systemd 服务设了
MemoryMax/memory.limit_in_bytes,组内进程申请超过上限时触发的是 memcg OOM,只杀这个组里的进程,整机free看起来完全正常。日志里会带Memory cgroup out of memory和 cgroup 路径,这是与全局 OOM 最关键的区别。 - 特定 zone 或不可回收页耗尽。低端内存、DMA 区域、透明大页无法及时回收,也会让分配失败,哪怕总空闲内存不少。
badness 打分:为什么偏偏杀它
内核给每个候选进程算 oom_score(0~1000),主要按占用的内存总量(RSS + 页缓存 + swap)计分,占用越大分越高,再叠加 oom_score_adj 修正。于是 Java 堆、数据库这类「大块头」常常首当其冲,而真正泄漏的那个小进程反而活着。
cat /proc/<PID>/oom_score # 当前得分
cat /proc/<PID>/oom_score_adj # 人工修正值,-1000 表示禁止被选中
echo -1000 > /proc/<PID>/oom_score_adj
# systemd 服务更推荐写进 unit:OOMScoreAdjust=-800
内核日志中被杀对象那一段会列出 task=、oom_score_adj=、各 zone 的空闲页与候选列表,值得完整读一遍,它能告诉你到底是全局还是 cgroup 级 OOM。
排查顺序
dmesg -T | grep -i oom确认类型(全局 or memcg)与被杀进程。journalctl -u <service> --since ...对齐时间点,看进程消失前有没有大内存动作:批量导出、缓存预热、JIT、堆自动扩容。- cgroup v2 看
cat /sys/fs/cgroup/memory.max和memory.current;systemd 看systemctl show <svc> -p MemoryMax。 grep -E 'CommitLimit|Committed_AS' /proc/meminfo,Committed_AS长期逼近CommitLimit说明超卖严重。
预防与处置
- 给容量留边界:按实测峰值设容器/服务内存上限,并让应用堆上限(如
-Xmx)明显小于该上限,给堆外内存、线程栈、页缓存留出余量。堆上限贴着容器上限设,是 memcg OOM 最常见的成因。 - 别用 Swap 掩盖问题:Swap 只是拖时间,还会让延迟剧烈抖动;对延迟敏感的服务,宁可快速失败并由编排层重启。
- 保护关键进程:主进程设
OOMScoreAdjust=-800,让 OOM 优先牺牲可重启的工作进程;同时配合监控把内存增长提前暴露。 - 改 overcommit 要谨慎:
vm.overcommit_memory=2配overcommit_ratio会让malloc更早失败,但不少运行时会误判为系统不可用,先在预发压测再动。 - 把 OOM 做成告警:cgroup v2 的
memory.events里有oom_kill计数,加上Committed_AS和进程 RSS 增长率,比事后翻 dmesg 有用得多。
小结
OOM Killer 的触发条件是「这次分配拿不到页」,不是「整机内存耗尽」。先分清全局还是 cgroup 级,再看 badness 打分与打分修正,最后从容量规划、堆上限、关键进程保护三处下手。把 oom_kill 计数接进告警,下一次就不用半夜靠 dmesg 破案了。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)