用 systemd 让自托管服务自动复活:Restart、RestartSec 与 StartLimit 的踩坑笔记

举报
yd_285606699 发表于 2026/10/21 17:33:13 2026/10/21
【摘要】 摘要:把自托管的 Python / Node / Go 服务交给 systemd 托管时,Restart、RestartSec 与 StartLimit 三个参数最容易踩坑。本文记录我在 Ubuntu 22.04(鲲鹏 / x86 均适用)上,从"半夜服务挂掉无人值守"到"自动复活 + 告警 + 防弹死循环"的完整实践,适合在华为云轻量服务器或 ECS 上直接复用。 为什么选 systemd...

摘要:把自托管的 Python / Node / Go 服务交给 systemd 托管时,Restart、RestartSec 与 StartLimit 三个参数最容易踩坑。本文记录我在 Ubuntu 22.04(鲲鹏 / x86 均适用)上,从"半夜服务挂掉无人值守"到"自动复活 + 告警 + 防弹死循环"的完整实践,适合在华为云轻量服务器或 ECS 上直接复用。

为什么选 systemd

在华为云 ECS 或轻量服务器上跑自托管服务(爬虫、Webhook、同步脚本),常见的托管方式有 Supervisor、PM2、Docker 以及 systemd。systemd 是 Ubuntu/CentOS 的默认 init,零安装、开机自启、日志统一走 journalctl,而且和华为云主机的云助手、监控 Agent 不会打架。

最小可用的 service 单元

# /etc/systemd/system/myservice.service
[Unit]
Description=My self-hosted service
After=network-online.target
Wants=network-online.target

[Service]
Type=simple
User=app
WorkingDirectory=/opt/myservice
ExecStart=/usr/bin/python3 /opt/myservice/run.py
Restart=on-failure
RestartSec=10
SuccessExitStatus=42

[Install]
WantedBy=multi-user.target

第一个坑:Restart 的三个取值

  • no:崩溃后直接停,不会自动拉起来。
  • on-failure:只有非 0 退出或收到致命信号才重启。推荐默认值。
  • always:任何退出都重启,包括 Ctrl+C 和正常退出。调试时容易卡死。

实际踩坑:有一次我在脚本里写了一个 sys.exit(0) 的优雅关闭,结果用了 Restart=always,服务变成了"退出 -> 拉起来 -> 优雅退出 -> 再拉起来"的死循环,journal 每秒写一条,很快把磁盘写满。改成 on-failure 后恢复正常。

第二个坑:没有 RestartSec 会怎样

不加 RestartSec 时,systemd 使用指数退避:第 1 次重启间隔约 100ms,第 2 次约 200ms,逐步拉长到最大值(默认 10s)。如果你的服务启动极快且会在 100ms 内再次崩溃,systemd 会以每秒数十次的频率反复拉起,短时间内触发 start limit 并直接标记 failed。

显式设置 RestartSec=10,让每次重启之间留出 10 秒,既避免疯狂重试,也给下游(数据库、对象存储、DNS)恢复的时间。

第三个坑:连续崩溃后被 systemd 放弃

systemd 的 StartLimit 有两个参数:

  • StartLimitIntervalSec:滑动窗口大小,默认 10s。
  • StartLimitBurst:窗口内允许的最大重启次数,默认 5。

踩坑场景:某次依赖的下游服务短暂不可用,我的应用连续退出 5 次后窗口到期,systemd 直接停止重启,对外表现是"服务再也没起来"。systemctl status myservice 能看到 start limit hit 的提示。

修复方式是把窗口放大、把 burst 调高:

StartLimitIntervalSec=120
StartLimitBurst=10

这样在 2 分钟内允许最多 10 次重启,下游恢复后服务可以自动复活。

优雅退出码与 SuccessExitStatus

默认情况下,只有退出码 0 被认为是"成功退出"。如果你的脚本用 sys.exit(42) 表示"任务完成,不需要再拉",需要在单元里声明:

SuccessExitStatus=42

配合 Restart=on-failure,退出码 42 不会被重启,其余非 0 退出才会触发自动复活。

让服务重启时打一条可观测日志

在 ExecStart 前加一条 ExecStartPre 或使用 RestartPreExitStatus(systemd 248+)可以在重启瞬间记录状态。更简单且兼容性更好的做法是用 OnFailure 触发通知:

# 在 [Unit] 段加
OnFailure=notify@.service

再配一个 notify@.service 把 unit 名 POST 到企业微信 / 钉钉 webhook,即可在"服务真的挂掉超过阈值"时收到告警,而不是每次 RestartSec 都骚扰自己。

验证与排障常用命令

sudo systemctl daemon-reload
sudo systemctl enable myservice
sudo systemctl start myservice
sudo systemctl status myservice
journalctl -u myservice -f --since "10 min ago"
# 看 start limit
systemctl show myservice -p StartLimitIntervalSec,StartLimitBurst

在华为云主机上的一点注意

  • 华为云 ECS 的磁盘默认是云硬盘,写入速度受规格影响。Restart=always 把 journal 写满的代价不小,务必使用 on-failure。
  • 如果服务需要固定出口 IP,记得在弹性公网 IP 和安全组里配好,systemd 本身不涉及网络策略。
  • 华为云云助手可以执行 systemctl status 和 journalctl 命令,把它和 OnFailure 告警配合,基本可以做到无人值守。

总结

把 Restart、RestartSec、StartLimitIntervalSec / StartLimitBurst、SuccessExitStatus 四个参数配对,自托管服务在华为云主机上就能做到:崩溃自动复活、重启带退避、连续崩溃不会弹死循环、任务完成不再拉。这套配置在 Ubuntu 22.04、CentOS 7/Stream、以及华为云鲲鹏 / x86 轻量服务器上均验证过,直接复制 service 文件即可。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。