一个报警脚本,把自己报废了

举报
yd_254958141 发表于 2026/11/11 09:23:36 2026/11/11
【摘要】 昨晚十一点二十一分,我的手机弹了一条告警:云电脑的保活探针失败了,附着一长串 WinError 10060。那会儿我正准备睡,看到这个又坐回去查了二十分钟。结论是虚惊一场。同时我也发现,真正该修的不是那台云电脑,而是我自己的报警脚本。先说我这个探针在干什么我有一台免费的 AI 云电脑,闲置十几分钟会自动休眠。所以挂了个定时任务,每 15 分钟从外面调用一次接口,跑一条 date -u +%s...

昨晚十一点二十一分,我的手机弹了一条告警:云电脑的保活探针失败了,附着一长串 WinError 10060。那会儿我正准备睡,看到这个又坐回去查了二十分钟。

结论是虚惊一场。同时我也发现,真正该修的不是那台云电脑,而是我自己的报警脚本。

先说我这个探针在干什么

我有一台免费的 AI 云电脑,闲置十几分钟会自动休眠。所以挂了个定时任务,每 15 分钟从外面调用一次接口,跑一条 date -u +%s,拿到实时时间戳就算它还活着。成功就什么都不说,失败就通知我。

听起来挺合理,问题出在"失败"两个字的定义上。

那一次到底发生了什么

23:21 那一轮,脚本去连对方的 MCP 接口,卡在 TCP 建连阶段超时了。我这边抓到的是 URLError(TimeoutError(10060, ...)),意思是连过去一段时间没响应。脚本按最开始写的那套逻辑,把异常原文直接推给了我。

但我接着做了两件事,就把事情定下来了:

一是 23:28 从外面重新握手,同一条命令跑通,回了一个当时的时间戳。二是翻前后几轮的记录,22:05、22:35、23:05 全是静默成功。也就是说,机器从头到尾没掉过,只有那一分钟的网络抖了一下。

而它为什么抖,我心里其实有数:这台本机常年在跑代理,节点切换或者线路抽风的时候,一次外连超时太正常了。一个 15 分钟跑一轮的探针,碰上这种瞬时抖动,概率一点都不低。

我改了三处

第一处,握手和真命令都包成 3 次重试,间隔 10 秒。绝大多数抖动在第二轮就过去了,根本走不到告警这一步。

第二处,真失败也要节流。改成只有满足两个条件才出声:状态文件里最后一次成功的时间已经过去 3 小时,并且距上次告警也过了 3 小时。少一个条件就静默。

第三处,也是最容易写错的一处:last_ok 这个时间戳只能由真正的成功写入。我之前图省事,在告警分支里也顺手更新了一下"检查时间",结果就是——告警本身把"多久没成功了"这个判断依据给冲掉了,节流形同虚设。这类 bug 特别隐蔽,因为脚本不报错,日志也正常,只有在真出事的时候你才会发现它早就不工作了。

改完怎么验的

光跑成功路径不够,成功路径永远只证明"没崩"。

正常路径:手动跑一次,退出码 0,没有任何输出,状态文件的时间更新到 23:29。

负向测试:把接口地址换成一个不存在的域名,再把状态文件里的 last_ok 伪造成 4 小时前。第一次跑,正常输出告警;紧接着第二次跑,没有任何输出,退出码还是 0。这说明节流真的生效了,而不是碰巧没触发。

做完这些,我又手动触发了一次真实调度,返回 succeeded。

顺手记一笔

我在这类脚本上栽过的坑,来来回回就一个主题:把瞬时故障当成持续故障。网络超时、接口偶发 5xx、平台排队提示"资源不足稍后重试"——这些本质上都是弱信号,值得重试,不值得叫人。真正值得半夜把人喊起来的,是"已经连续三个小时没有任何一次成功"这种事。

还有一个小细节:这台机器上 git-bash 里既没有 python 也没有 python3,只有 C:/WINDOWS/py。我第一次手动跑脚本时看到 python: No such file or directory,差点以为是脚本挂了,其实是跑法不对。定时任务那边用的是 Hermes 自带的解释器,所以两边表现不一样。以后手动复现线上行为,先确认用的是同一个解释器。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。