《内存明明还剩不少,进程却被系统杀了:OOM killer 在按什么规则挑人》
服务器上跑着的进程突然没了,日志里没有报错,systemctl 也显示它曾经正常运行过。先别急着怪程序自己崩了,查一下 dmesg,很可能看到一行 "Out of memory: Killed process"——这是 Linux 内核的 OOM killer 动的手。
很多人以为只有内存彻底耗尽才会触发它,其实不是。内核看的是可分配内存的压力:当物理内存加 swap 都不够用,或者某个内存 cgroup 触顶时,它就会挑一个进程杀掉,腾出空间保住整个系统。free 显示的"还剩不少"常常是误导:那部分可能是 page cache,内核随时能回收;真正要命的是匿名内存,也就是程序实际占用的堆和栈。
它挑人的规则也值得知道。内核会给每个进程打一个 oom_score,分高者先死。分数主要看两点:一是进程占了多少内存,二是它的"坏孩子"程度——root 跑的系统进程有加分保护,而刚启动不久、内存占用又大的普通进程最容易中招。查当前分数用 cat /proc/<pid>/oom_score,调低某个重要进程的优先级可以写 /proc/<pid>/oom_score_adj,范围 -1000 到 1000,-1000 表示永不杀。
但调分数只是止痛,不是治病。被杀之后真正该做的有三步:第一,看 dmesg 确认是不是 OOM killer 干的,别把内存问题当成程序 bug 去修;第二,用 free -m 和 /proc/meminfo 看清当时是哪类内存耗尽的,是匿名内存涨上去,还是 cache 没来得及回收;第三,找到泄漏点——如果一个进程的内存随时间单调上涨,重启只是拖延,修代码或加限制才是正解。
预防的办法也有现成的:给关键服务设 systemd 的 MemoryMax,超了先限流而不是直接被杀;监控上把 oom-kill 事件单独告警,别等用户投诉才发现进程没了。内存问题最怕的不是它发生,而是它悄悄发生了很久,你却以为程序自己不稳定。
- 点赞
- 收藏
- 关注作者
评论(0)