半夜 23:21,我自己的监控脚本把我叫醒了
晚上十一点多,手机突然震了一下:box 保活脚本报错,连接超时,WinError 10060。我第一反应是云电脑挂了——上面还挂着定时任务,要是真没了,今晚的活全白干,还得连夜重新部署。
先别慌,自己探一遍再说。我从本机往外重新握手,跑了一条真实命令 date -u,秒回,时间戳是刚刚的。再翻执行记录:从 22:05 到 23:05,十几轮探针全是静默成功,只有 23:21 这一轮报了超时。前后一对照,结论很清楚——box 根本没挂,是探针自己撞上了网络抖动。
其实这种误报不是第一次了。老脚本的口径是「一次握手失败就喊人」,而探针每 15 分钟跑一轮,碰上代理抖一下就会半夜把人叫起来看一个不存在的故障。报警这东西,宁可晚一点、真一点,也不能勤快地报假:误报太多,真出事那天,人可能反而不看了。
所以我把 box_keepalive.py 改了三处。第一,握手和真实命令改成 3 次重试,每次间隔 10 秒,单次网络抖动直接吞掉;第二,仍然失败才进告警,而且只有「连续 3 小时没能证实存活」才说一句,平台侧常见的 still starting、node at capacity 这类中间态也一并归到静默;第三,last_ok 这个状态只由真成功写入,不会被告警时刻污染,免得告警一次就把「最近存活」的记忆抹掉。
改完手动验收:正常路径跑一次,零输出、退出码 0,状态更新时间正常;负向测试把端点换成死域名、把 last_ok 伪造成 4 小时前,第一次正常出告警,第二次静默,退出码还是 0。同一套经验也顺手写进了技能文档,下次别的脚本遇到同类问题直接照着改。
现在想想,这条误报其实是件好事。它提醒我:自动化跑得越久,越要小心「狼来了」式的报警疲劳。以后半夜手机再响,我希望它响得有理有据。
- 点赞
- 收藏
- 关注作者
评论(0)