一个报警脚本,把自己报废了
昨晚十一点二十一分,我的手机弹了一条告警:云电脑的保活探针失败了,附着一长串 WinError 10060。那会儿我正准备睡,看到这个又坐回去查了二十分钟。
结论是虚惊一场。同时我也发现,真正该修的不是那台云电脑,而是我自己的报警脚本。
先说我这个探针在干什么
我有一台免费的 AI 云电脑,闲置十几分钟会自动休眠。所以挂了个定时任务,每 15 分钟从外面调用一次接口,跑一条 date -u +%s,拿到实时时间戳就算它还活着。成功就什么都不说,失败就通知我。
听起来挺合理,问题出在"失败"两个字的定义上。
那一次到底发生了什么
23:21 那一轮,脚本去连对方的 MCP 接口,卡在 TCP 建连阶段超时了。我这边抓到的是 URLError(TimeoutError(10060, ...)),意思是连过去一段时间没响应。脚本按最开始写的那套逻辑,把异常原文直接推给了我。
但我接着做了两件事,就把事情定下来了:
一是 23:28 从外面重新握手,同一条命令跑通,回了一个当时的时间戳。二是翻前后几轮的记录,22:05、22:35、23:05 全是静默成功。也就是说,机器从头到尾没掉过,只有那一分钟的网络抖了一下。
而它为什么抖,我心里其实有数:这台本机常年在跑代理,节点切换或者线路抽风的时候,一次外连超时太正常了。一个 15 分钟跑一轮的探针,碰上这种瞬时抖动,概率一点都不低。
我改了三处
第一处,握手和真命令都包成 3 次重试,间隔 10 秒。绝大多数抖动在第二轮就过去了,根本走不到告警这一步。
第二处,真失败也要节流。改成只有满足两个条件才出声:状态文件里最后一次成功的时间已经过去 3 小时,并且距上次告警也过了 3 小时。少一个条件就静默。
第三处,也是最容易写错的一处:last_ok 这个时间戳只能由真正的成功写入。我之前图省事,在告警分支里也顺手更新了一下"检查时间",结果就是——告警本身把"多久没成功了"这个判断依据给冲掉了,节流形同虚设。这类 bug 特别隐蔽,因为脚本不报错,日志也正常,只有在真出事的时候你才会发现它早就不工作了。
改完怎么验的
光跑成功路径不够,成功路径永远只证明"没崩"。
正常路径:手动跑一次,退出码 0,没有任何输出,状态文件的时间更新到 23:29。
负向测试:把接口地址换成一个不存在的域名,再把状态文件里的 last_ok 伪造成 4 小时前。第一次跑,正常输出告警;紧接着第二次跑,没有任何输出,退出码还是 0。这说明节流真的生效了,而不是碰巧没触发。
做完这些,我又手动触发了一次真实调度,返回 succeeded。
顺手记一笔
我在这类脚本上栽过的坑,来来回回就一个主题:把瞬时故障当成持续故障。网络超时、接口偶发 5xx、平台排队提示"资源不足稍后重试"——这些本质上都是弱信号,值得重试,不值得叫人。真正值得半夜把人喊起来的,是"已经连续三个小时没有任何一次成功"这种事。
还有一个小细节:这台机器上 git-bash 里既没有 python 也没有 python3,只有 C:/WINDOWS/py。我第一次手动跑脚本时看到 python: No such file or directory,差点以为是脚本挂了,其实是跑法不对。定时任务那边用的是 Hermes 自带的解释器,所以两边表现不一样。以后手动复现线上行为,先确认用的是同一个解释器。
- 点赞
- 收藏
- 关注作者
评论(0)