ECS 上 Java 服务被 OOMKilled 的排查记录
我在华为云 ECS 上部署一个 Spring Boot 订单查询服务,机器规格是 4 vCPU、8 GiB,实例规格代码是 s7.2xlarge.2,系统为 Ubuntu 22.04 LTS,内核版本是 5.15.0-126-generic,Java 使用 Temurin 17.0.10,Spring Boot 版本为 3.2.5。服务属于内部系统,部署完成后我用 curl 验证接口,前几次访问都正常,返回的是订单 JSON,耗时稳定在 80 ms 到 140 ms 之间。
curl -sS -w '\nHTTP %{http_code} %{time_total}s\n' \
http://127.0.0.1:8080/api/orders/10086
运行了大约 40 分钟后,接口突然没有响应,curl 等了 30 秒也没有拿到完整响应。systemd 状态里显示进程已经被杀掉,退出码是 137。控制台没有实例重启记录,交换机侧也没有流量告警。我一开始怀疑是安全组规则变更,但这个接口只监听 127.0.0.1,安全组不会影响本机请求,这个判断可以排除。
报错信息和现场数据
查看服务状态时,journalctl 日志里有这样一段:
Sep 18 14:26:43 ecs-order-01 systemd[1]: orders-api.service: Main process exited, code=killed, status=9/KILL
Sep 18 14:26:43 ecs-order-01 systemd[1]: orders-api.service: Failed with result 'oom-kill'.
对应的内核日志也出现了内存回收和 OOM 记录:
kernel: Out of memory: Killed process 18244 (java) total-vm:7218832kB, anon-rss:6103184kB
kernel: memory cgroup out of memory: Killed process 18244 (java) total-vm:7218832kB, anon-rss:6103184kB, file-rss:0kB
这里的 status=9/KILL 加上 oom-kill 已经把范围缩小到 cgroup 内存限制。服务不是自己抛异常退出的,而是被内核强制结束。我又检查了 /var/log/syslog,搜索进程号 18244,确认没有 OutOfMemoryError,也没有应用主动调用 System.exit 的记录。
journalctl -u orders-api.service --since '2024-09-18 14:20:00' --until '2024-09-18 14:30:00'
grep -E '18244|oom-kill|Killed process' /var/log/syslog | tail -n 20
这台 ECS 实际拿到的是 4 vCPU、8192 MiB 内存,我用 systemd 给服务设置了 5 GiB 的 MemoryMax。JVM 启动参数却写成了 -Xms4g -Xmx4g,还把堆外内存、线程栈和 Metaspace 算漏了。应用本身没有执行大查询,监控里的 Java 堆使用率停在 3.7 GiB 左右,并没有达到配置的 4 GiB。
systemctl show orders-api.service -p MemoryMax -p MemoryCurrent -p MemoryPeak
free -h
swapon --show
ps -o pid,ppid,%mem,rss,vsz,cmd -p $(systemctl show -p MainPID --value orders-api.service)
输出显示 MemoryCurrent 曾经达到 5.12 GiB,而 MemoryMax 是 5.00 GiB。free 命令里的 available 只剩 2.1 GiB,swap 是 0 GiB。问题不是 Java 堆参数本身写错,而是我把容器式内存预算直接套到了 systemd 服务上,又把 -Xmx 当成了整个进程的内存上限。
我用 cgroup -in memory 又看了一遍,路径是 /system.slice/orders-api.service,memory.max 为 5368709120,memory.peak 为 5498145792,memory.events 里的 oom_kill 计数是 1。这个结果和 journalctl 能对上。这里也暴露了一个容易忽略的点,free -h 显示的是宿主机视角,systemd 服务的 cgroup 限制不会直接体现在主输出里。
修改过程和复查
我第一次尝试只把堆上限从 4 GiB 改为 3 GiB,MemoryMax 仍然保留 5 GiB,JAVA_OPTS 改成了 -Xms2g -Xmx3g -XX:+ExitOnOutOfMemoryError。重启后压了 15 分钟,单请求的 P95 从 126 ms 降到 109 ms,看起来没有什么问题,但批量导入 8 万条订单时,服务在第 11 分钟又被杀了。
Sep 18 15:17:08 ecs-order-01 kernel: Out of memory: Killed process 19371 (java) total-vm:6840128kB, anon-rss:5321216kB
Sep 18 15:17:08 ecs-order-01 systemd[1]: orders-api.service: Failed with result 'oom-kill'.
这次 RSS 达到 5.08 GiB,仍然超过 5 GiB 的限制。我还保留了一条失败尝试的记录,把 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/var/log/orders-api 加进去也没有用,因为触发的是 cgroup OOM,不是 Java HeapOOM,JVM 根本来不及生成完整 heap dump。目录里只留下了一个 0 字节的临时文件。
第二次修改时,我把 JVM 堆上限改小,并给服务留出 native memory:
JAVA_OPTS="-Xms1g -Xmx2g -XX:MaxMetaspaceSize=256m -XX:+ExitOnOutOfMemoryError"
spring.config.import=optional:file:/etc/orders-api/application-prod.yml
systemd 配置改成下面的内容后,我执行 systemctl daemon-reload 和 systemctl restart orders-api.service。这次改动让服务重启耗时 8 秒,随后连续观察了 3 小时。
[Service]
User=orders
WorkingDirectory=/opt/orders-api
EnvironmentFile=/etc/orders-api/env
ExecStart=/usr/bin/java $JAVA_OPTS -jar /opt/orders-api/orders-api.jar
Restart=on-failure
RestartSec=10
MemoryMax=6G
MemoryAccounting=yes
NoNewPrivileges=true
我没有直接把 MemoryMax 调成 8 GiB。8 GiB 是整台机器的上限,操作系统、文件缓存和 SSH 都需要内存。给服务设置 6 GiB,可以覆盖当前 2 GiB 堆和约 1.3 GiB 的堆外占用。重跑那批 8 万条导入时,进程 RSS 最高是 4.76 GiB,导入耗时 7 分 42 秒,没有再次触发 oom-kill。导入期间每 5 秒记录一次 cgroup 数据,memory.peak 为 5109044224 字节,距离 6 GiB 限额还有约 1.1 GiB。
这次故障发生在我把应用从开发机搬到 ECS 之后。开发机上跑同一个 jar,JVM 能看到接近 16 GiB 的可用内存,所以我只关注了 -Xmx。现在回头看,当时还漏掉了 DirectByteBuffer、Netty 堆外缓冲区和 62 个工作线程的栈空间。
我后来加了一个发布前检查脚本,脚本会读取服务限制并计算 JVM 的预留内存:
#!/usr/bin/env bash
set -euo pipefail
unit=${1:-orders-api.service}
limit=$(systemctl show "$unit" -p MemoryMax --value)
heap=$(systemctl show "$unit" -p Environment --value | sed -n 's/.*-Xmx\([0-9]*[kKmMgG]\).*/\1/p')
printf 'unit=%s MemoryMax=%s Xmx=%s\n' "$unit" "$limit" "$heap"
[ "$limit" != "infinity" ] || { echo 'MemoryMax is not configured'; exit 1; }
执行 ./check-memory.sh orders-api.service 后,脚本输出了 MemoryMax=6442450944 Xmx=2147483648。这个检查不能证明服务不会 OOM,但能阻止我把“无限制”误认为“有足够内存”。
这台 ECS 按包年包月计算,4 vCPU、8 GiB 的 Linux 实例在购买页面显示为每月约 312 元,实际价格还取决于地域、镜像和购买时长。我没有为了这次故障直接升级到 16 GiB,因为当前服务的峰值 RSS 是 4.76 GiB,先修正 JVM 和 systemd 的预算更省钱。
目前还没解决的是应用在高并发导入任务下的堆外内存波动。临时任务运行后 RSS 偶尔会超过 4.8 GiB,我计划把导入任务拆到独立进程,并用 JFR 的 Native Memory Tracking 记录分配来源。下一步先在 8.3.3 版本上连续跑三轮导入,观察 memory.peak 是否继续上涨,再决定是否单独扩容导入节点。
- 点赞
- 收藏
- 关注作者
评论(0)