脚本跑挂了,怎么知道挂在哪:自动化的可观测性
写自动化脚本的人大多经历过这个场景:早上起来发现脚本半夜挂了,日志只有一行 Traceback,外加一堆看不懂的堆栈。你得从头复现一遍才知道死在哪。
无人值守的脚本,可观测性和功能一样重要。这篇讲我在给自动化加「能查」这件事上的几个做法。
一、日志要能回答三个问题
一条好日志,至少要让人回答出来:
1. 发生了什么——不是「出错了」,是「调用 X 接口返回 403」
2. 在哪一步——脚本有十几个步骤,得知道死在第几
3. 下一步该做什么——重试、跳过,还是需要人工介入
大部分脚本的日志只做到了第一条,甚至第一条都没做到(只打印异常对象)。
改进方式很简单:每个关键步骤开始和结束各打一行,带步骤序号和耗时。
[1/6] 读取配置 ... ok (12ms)
[2/6] 检查登录态 ... ok (340ms)
[3/6] 拉取任务列表 ... 403 not login
[3/6] 失败:欢迎语与配置不符,可能是会话过期
一眼就能看出死在哪、为什么、该干嘛。
二、结构化比好看重要
给人看的日志要好读,给程序看的日志要能解析。这两件事可以同时满足:用一行 JSON,或者用固定的键值格式。
log("step", n=3, action="fetch_tasks", status=403, reason="not login")
好处是出问题的时候可以 grep status=403 直接筛出来,不用肉眼扫几百行。
小团队常觉得这是过度设计,但等你半夜被叫起来排查时,能 grep 就是救命。
三、留一份状态快照
脚本挂掉之后,最有价值的东西不是日志,是挂掉那一刻的状态。
我的习惯是把中间产物落盘:
- 抓到的原始响应存成
debug/step3_response.json - 渲染后的页面存成
debug/step3_page.png - 关键变量存成
debug/state.json
这样复现的时候不用重新跑一遍,直接看快照就知道当时拿到了什么。
代价是占点磁盘。折中方案是只保留最近一次的 debug/ 目录,每次运行前清空。
四、退出码要约定
自动化脚本经常被别的脚本或定时任务调用。退出码就是它和外部沟通的语言。
一个够用的约定:
0成功1业务失败(重试也没用,比如参数错误、权限不足)2环境失败(网络、服务不可用,可以重试)3需要人工介入(比如要扫码登录、要确认弹窗)
区别在于调用方要不要重试。把「重试也没用」和「过一会儿可能就好了」混成一个非零码,重试逻辑就没法写。
五、失败要能重放
脚本跑到第七步挂了,你修好之后想从第七步继续,而不是从头再来。
做法有两种:
幂等重跑:整个脚本设计成可以重复执行,已经完成的步骤自动跳过(靠状态文件或服务端状态判断)。这是最省心的。
断点续跑:显式保存进度,支持 --from step7。实现麻烦一些,但适合那些步骤之间有强依赖、重跑成本高的场景。
大多数场景第一种就够了,前提是每一步都设计成幂等的。
六、什么该通知人
不是所有失败都值得半夜报警。
我的分类:
- 可自愈的(网络抖动、限流):重试,不通知
- 可延迟的(依赖服务临时不可用):记录,下次运行再试,不通知
- 需要人的(登录失效、需要确认、数据异常):立刻通知
关键是通知里要带够信息:哪个脚本、第几步、什么错误、建议动作。只发一句「脚本失败」,收到的效果和没发差不多。
七、一个反直觉的建议
先写失败路径,再写正常路径。
正常路径的代码写起来很顺,失败路径才是真正花时间的地方。如果先写正常路径,等你跑到一半发现会话会过期、接口会限流、弹窗会拦截,整个结构可能要推翻重来。
反过来,先把「可能出什么问题」列出来,按每种问题设计处理方式,正常路径反而变成最简单的那部分。
八、最后
可观测性听起来是个大词,落到脚本上就是三件小事:日志能看懂、状态能回放、失败能分类。
这三件事加起来可能只占代码量的 10%,但决定了这个脚本是「一次性的」还是「能长期跑的」。
一次性脚本挂了就重写,长期跑的脚本挂了要能查——区别就在这 10%。
- 点赞
- 收藏
- 关注作者
评论(0)