systemd 托管的 Node.js 服务频繁重启:8 个排查点
用 systemd 托管 Node.js 服务,最常见的故障不是代码报错,而是"起来几十秒又挂了、反复重启"。systemctl status 只给一行结论,真正的原因要自己挖。下面按从外到内的顺序给出 8 个排查点,每个都配可执行的命令。
1. 先确认是"退出"还是"被杀"
systemctl status myapp --no-pager
systemctl show myapp -p NRestarts -p ExecMainStatus -p ExecMainCode -p Result
NRestarts持续增长:进程确实退出后又被拉起。Result=oom-kill或ExecMainCode=2:被信号杀死,不是正常 exit。ExecMainStatus=1:程序自己以非零码退出,去看应用日志。
Result 字段是判断方向的关键,先看它再往下查。
2. 日志要一次拿够
journalctl -u myapp -n 200 --no-pager -o short-precise
journalctl -u myapp --since "30 min ago" -p warning --no-pager
只截最后一行往往看不到真正的堆栈。-o short-precise 保留毫秒,能对齐"启动→报错"的时间差;-p warning 过滤噪声,适合崩溃前只有一两行关键错误的情况。
如果服务把日志写进文件而不是 journal,记得在 unit 里写 StandardOutput=journal、StandardError=journal,否则 systemd 侧只有一行 exit code。
3. PATH 与 node 路径不一致
ssh 里 node -v 正常,systemd 里却报 node: command not found,是因为 systemd 不加载 ~/.bashrc、nvm 的 shim 也不在其中。
which node # 例如 /root/.nvm/versions/node/v20.11.1/bin/node
两种写法,推荐第二种:
# 写法一:写绝对路径
ExecStart=/root/.nvm/versions/node/v20.11.1/bin/node /opt/myapp/server.js
# 写法二:显式声明环境
Environment=NODE_ENV=production
Environment=PATH=/root/.nvm/versions/node/v20.11.1/bin:/usr/local/bin:/usr/bin
Environment= 只对本次 unit 生效,升级 node 后要同步改,别把版本号散落在多个文件里。
4. 工作目录与环境变量
相对路径读配置、读证书,在 systemd 下会以 / 为基准,结果就是 "ENOENT: no such file"。
WorkingDirectory=/opt/myapp
EnvironmentFile=/etc/myapp/env
EnvironmentFile 的格式是纯 KEY=value,不要写 export,不要加引号嵌套;文件权限设成 600,里面有数据库密码。
5. 重启策略是否把"崩溃"变成了"刷屏"
Restart=on-failure
RestartSec=5s
StartLimitIntervalSec=60
StartLimitBurst=5
Restart=always 会让正常退出的进程也被拉起,排查时容易误判成"服务还活着"。StartLimitBurst 触发后 systemd 会停止重试并进入 failed 状态,这时 systemctl status 才会有明确提示。频繁重启的服务,先把 RestartSec 调到 10s 以上,给日志留出可读的时间窗。
6. 内存被 OOM Killer 干掉
容器和小规格云主机上很常见。Node 默认堆上限与物理内存无关,进程实际占用会超过预期。
dmesg -T | grep -i -E "out of memory|killed process"
systemctl show myapp -p MemoryMax -p MemoryCurrent
unit 里加限制,让 systemd 先管住,而不是等内核 OOM:
MemoryMax=512M
MemoryHigh=384M
应用侧同时限制堆:NODE_OPTIONS=--max-old-space-size=384。两个值要匹配,堆上限大于 MemoryMax 时进程会先被 cgroup 杀掉,日志里看不到 JS 层的错误。
7. 依赖顺序:网络和磁盘没准备好
开机自启失败、手动 systemctl restart 又正常,多半是依赖没就绪。
After=network-online.target
Wants=network-online.target
network.target 只表示网络栈已加载,不保证拿到地址;要等地址就用 network-online.target。挂载盘同理,用 RequiresMountsFor=/data,避免服务先启动、后挂盘导致读不到数据目录。
8. 先用 systemd-analyze 校验 unit 文件
systemd-analyze verify /etc/systemd/system/myapp.service
systemd-analyze security myapp.service
第一条能提前发现拼写错误、缺失的可执行文件、循环依赖;第二条给出安全暴露面评分,便于逐项收紧 ProtectSystem、PrivateTmp、NoNewPrivileges 等选项。
一份可直接套用的最小 unit
[Unit]
Description=My Node App
After=network-online.target
Wants=network-online.target
StartLimitIntervalSec=60
StartLimitBurst=5
[Service]
Type=simple
User=app
WorkingDirectory=/opt/myapp
EnvironmentFile=/etc/myapp/env
Environment=NODE_ENV=production
ExecStart=/usr/bin/node /opt/myapp/server.js
Restart=on-failure
RestartSec=5s
MemoryMax=512M
StandardOutput=journal
StandardError=journal
[Install]
WantedBy=multi-user.target
改完执行:
systemctl daemon-reload
systemctl restart myapp
systemctl status myapp --no-pager
小结
排查顺序建议固定为:Result 字段 → journal 日志 → 路径与环境 → 重启策略 → 内存 → 依赖顺序 → unit 静态校验。多数"反复重启"能在前三步定位;剩下的是资源限制和启动时序问题,这两类不会在应用日志里留痕,只能从 systemd 侧看。
- 点赞
- 收藏
- 关注作者
评论(0)