systemd 服务单元编写与故障自愈:Restart 策略、资源限制与日志排查
在云服务器上部署业务进程,最常见的做法是把程序交给 systemd 托管。相比用 nohup 或 screen 手动拉起,systemd 能统一管理启动顺序、运行用户、环境变量、崩溃重启和日志收集。但很多人只是照抄一个最简单的 unit 文件,遇到进程反复崩溃、内存失控或日志找不到时就束手无策。本文从单元文件结构讲起,重点讨论故障自愈策略、资源限制和日志排查三个方面。
一、服务单元的基本结构
一个服务单元通常放在 /etc/systemd/system/ 目录下,以 .service 结尾,由 [Unit]、[Service]、[Install] 三个段组成。[Unit] 段描述依赖关系,常用 After=network-online.target 与 Wants=network-online.target 保证网络就绪后再启动;[Service] 段定义进程本身,包括 Type、ExecStart、User、WorkingDirectory、Environment 或 EnvironmentFile 等;[Install] 段一般写 WantedBy=multi-user.target,使 systemctl enable 后随系统启动。
Type 的选择容易被忽视。前台运行、不自行 fork 的程序使用 Type=simple 或更推荐的 Type=exec,后者会在 execve 成功后才认为启动完成,能更早发现路径错误;传统守护进程自行 fork 时用 Type=forking 并配合 PIDFile;支持 sd_notify 的程序可以用 Type=notify,让 systemd 准确感知「真正就绪」的时间点。修改单元文件后务必执行 systemctl daemon-reload,否则改动不会生效。
二、Restart 策略与启动频率限制
故障自愈的核心是 Restart= 配置。Restart=on-failure 会在进程以非零码退出、被信号杀死或超时时重启,是大多数业务的合理默认值;Restart=always 则无论何种原因退出都会重启,适合必须常驻的代理类进程。RestartSec= 控制重启前的等待时间,建议设为几秒,避免进程在依赖服务尚未恢复时疯狂重试。
与之配合的是 [Unit] 段的 StartLimitIntervalSec= 和 StartLimitBurst=,含义是在指定时间窗口内最多允许启动若干次,超过后单元进入 failed 状态不再重试。这一机制可以防止配置错误导致的无限重启风暴。如果希望超过限制后执行告警或回滚,可以使用 OnFailure= 指向另一个单元,例如一个调用 webhook 发送通知的 oneshot 服务。对于需要健康检测的场景,可以结合 WatchdogSec= 与程序内的 sd_notify 心跳,让卡死但未退出的进程也能被识别并重启。
三、用资源限制保护整机
systemd 基于 cgroup 管理每个服务,因此可以直接在单元文件中声明资源上限。MemoryMax= 设定内存硬上限,超出后该服务内的进程会被 OOM 终止,而不会拖垮整台主机;MemoryHigh= 是软限制,超过后内核会积极回收内存并限速。CPUQuota=50% 表示最多使用半个 CPU 核心,TasksMax= 限制进程与线程总数,LimitNOFILE= 设置文件描述符上限。
除了资源配额,还可以借助沙箱选项降低风险:NoNewPrivileges=yes 禁止提权,ProtectSystem=strict 让系统目录只读,ProtectHome=yes 隐藏用户家目录,ReadWritePaths= 显式放行需要写入的数据目录,PrivateTmp=yes 为服务提供独立的临时目录。可以用 systemd-analyze security 服务名 评估当前单元的暴露程度,逐项收紧。
四、日志与故障排查
服务的标准输出和标准错误默认进入 journald。排查时先用 systemctl status 服务名 查看当前状态、主进程号、最近几行日志以及退出码;再用 journalctl -u 服务名 -e 跳到日志末尾,或加 -f 实时跟踪,加 --since 与 --until 按时间过滤,加 -b 只看本次开机以来的记录。若状态显示 status=203/EXEC,通常是 ExecStart 路径错误或缺少执行权限;status=217/USER 表示指定的运行用户不存在。
为避免日志撑满磁盘,可以在 /etc/systemd/journald.conf 中设置 SystemMaxUse= 限制总占用,并将 Storage=persistent 以便重启后保留日志。需要临时调整某个单元而不改原文件时,使用 systemctl edit 服务名 生成 drop-in 覆盖文件,便于后续升级时保持配置清晰。
五、总结
写好一个 systemd 服务单元,关键在于选对 Type、配置合理的 Restart 与启动频率限制、用 cgroup 资源限制和沙箱选项为整机兜底,再配合 journalctl 建立排查习惯。把这些要点固化成团队模板,可以显著减少「进程挂了没人知道」和「一个服务拖垮整台机器」这类问题,让云服务器上的业务真正具备基础的自愈能力。
- 点赞
- 收藏
- 关注作者
评论(0)