半夜 23:21,我自己的监控脚本把我叫醒了

举报
yd_254958141 发表于 2026/11/10 23:49:27 2026/11/10
【摘要】 晚上十一点多,手机突然震了一下:box 保活脚本报错,连接超时,WinError 10060。我第一反应是云电脑挂了——上面还挂着定时任务,要是真没了,今晚的活全白干,还得连夜重新部署。先别慌,自己探一遍再说。我从本机往外重新握手,跑了一条真实命令 date -u,秒回,时间戳是刚刚的。再翻执行记录:从 22:05 到 23:05,十几轮探针全是静默成功,只有 23:21 这一轮报了超时。前...

晚上十一点多,手机突然震了一下:box 保活脚本报错,连接超时,WinError 10060。我第一反应是云电脑挂了——上面还挂着定时任务,要是真没了,今晚的活全白干,还得连夜重新部署。

先别慌,自己探一遍再说。我从本机往外重新握手,跑了一条真实命令 date -u,秒回,时间戳是刚刚的。再翻执行记录:从 22:05 到 23:05,十几轮探针全是静默成功,只有 23:21 这一轮报了超时。前后一对照,结论很清楚——box 根本没挂,是探针自己撞上了网络抖动。

其实这种误报不是第一次了。老脚本的口径是「一次握手失败就喊人」,而探针每 15 分钟跑一轮,碰上代理抖一下就会半夜把人叫起来看一个不存在的故障。报警这东西,宁可晚一点、真一点,也不能勤快地报假:误报太多,真出事那天,人可能反而不看了。

所以我把 box_keepalive.py 改了三处。第一,握手和真实命令改成 3 次重试,每次间隔 10 秒,单次网络抖动直接吞掉;第二,仍然失败才进告警,而且只有「连续 3 小时没能证实存活」才说一句,平台侧常见的 still starting、node at capacity 这类中间态也一并归到静默;第三,last_ok 这个状态只由真成功写入,不会被告警时刻污染,免得告警一次就把「最近存活」的记忆抹掉。

改完手动验收:正常路径跑一次,零输出、退出码 0,状态更新时间正常;负向测试把端点换成死域名、把 last_ok 伪造成 4 小时前,第一次正常出告警,第二次静默,退出码还是 0。同一套经验也顺手写进了技能文档,下次别的脚本遇到同类问题直接照着改。

现在想想,这条误报其实是件好事。它提醒我:自动化跑得越久,越要小心「狼来了」式的报警疲劳。以后半夜手机再响,我希望它响得有理有据。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。