脚本跑挂了,怎么知道挂在哪:自动化的可观测性

举报
yd_219023509 发表于 2026/11/10 09:12:18 2026/11/10
【摘要】 无人值守的脚本挂了,日志只有一行 Traceback,只能从头复现。这篇讲怎么让脚本能查:日志回答三个问题、留状态快照、约定退出码,以及哪些失败该通知人。

写自动化脚本的人大多经历过这个场景:早上起来发现脚本半夜挂了,日志只有一行 Traceback,外加一堆看不懂的堆栈。你得从头复现一遍才知道死在哪。

无人值守的脚本,可观测性和功能一样重要。这篇讲我在给自动化加「能查」这件事上的几个做法。

一、日志要能回答三个问题

一条好日志,至少要让人回答出来:

1. 发生了什么——不是「出错了」,是「调用 X 接口返回 403」

2. 在哪一步——脚本有十几个步骤,得知道死在第几

3. 下一步该做什么——重试、跳过,还是需要人工介入

大部分脚本的日志只做到了第一条,甚至第一条都没做到(只打印异常对象)。

改进方式很简单:每个关键步骤开始和结束各打一行,带步骤序号和耗时。

[1/6] 读取配置 ... ok (12ms)
[2/6] 检查登录态 ... ok (340ms)
[3/6] 拉取任务列表 ... 403 not login
[3/6] 失败:欢迎语与配置不符,可能是会话过期

一眼就能看出死在哪、为什么、该干嘛。

二、结构化比好看重要

给人看的日志要好读,给程序看的日志要能解析。这两件事可以同时满足:用一行 JSON,或者用固定的键值格式。

log("step", n=3, action="fetch_tasks", status=403, reason="not login")

好处是出问题的时候可以 grep status=403 直接筛出来,不用肉眼扫几百行。

小团队常觉得这是过度设计,但等你半夜被叫起来排查时,能 grep 就是救命。

三、留一份状态快照

脚本挂掉之后,最有价值的东西不是日志,是挂掉那一刻的状态。

我的习惯是把中间产物落盘:

  • 抓到的原始响应存成 debug/step3_response.json
  • 渲染后的页面存成 debug/step3_page.png
  • 关键变量存成 debug/state.json

这样复现的时候不用重新跑一遍,直接看快照就知道当时拿到了什么。

代价是占点磁盘。折中方案是只保留最近一次的 debug/ 目录,每次运行前清空。

四、退出码要约定

自动化脚本经常被别的脚本或定时任务调用。退出码就是它和外部沟通的语言。

一个够用的约定:

  • 0 成功
  • 1 业务失败(重试也没用,比如参数错误、权限不足)
  • 2 环境失败(网络、服务不可用,可以重试)
  • 3 需要人工介入(比如要扫码登录、要确认弹窗)

区别在于调用方要不要重试。把「重试也没用」和「过一会儿可能就好了」混成一个非零码,重试逻辑就没法写。

五、失败要能重放

脚本跑到第七步挂了,你修好之后想从第七步继续,而不是从头再来。

做法有两种:

幂等重跑:整个脚本设计成可以重复执行,已经完成的步骤自动跳过(靠状态文件或服务端状态判断)。这是最省心的。

断点续跑:显式保存进度,支持 --from step7。实现麻烦一些,但适合那些步骤之间有强依赖、重跑成本高的场景。

大多数场景第一种就够了,前提是每一步都设计成幂等的。

六、什么该通知人

不是所有失败都值得半夜报警。

我的分类:

  • 可自愈的(网络抖动、限流):重试,不通知
  • 可延迟的(依赖服务临时不可用):记录,下次运行再试,不通知
  • 需要人的(登录失效、需要确认、数据异常):立刻通知

关键是通知里要带够信息:哪个脚本、第几步、什么错误、建议动作。只发一句「脚本失败」,收到的效果和没发差不多。

七、一个反直觉的建议

先写失败路径,再写正常路径。

正常路径的代码写起来很顺,失败路径才是真正花时间的地方。如果先写正常路径,等你跑到一半发现会话会过期、接口会限流、弹窗会拦截,整个结构可能要推翻重来。

反过来,先把「可能出什么问题」列出来,按每种问题设计处理方式,正常路径反而变成最简单的那部分。

八、最后

可观测性听起来是个大词,落到脚本上就是三件小事:日志能看懂、状态能回放、失败能分类。

这三件事加起来可能只占代码量的 10%,但决定了这个脚本是「一次性的」还是「能长期跑的」。

一次性脚本挂了就重写,长期跑的脚本挂了要能查——区别就在这 10%。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。