两台闲置小盒子的保活笔记:25 分钟一次平台执行与 409 冷却窗口
两台闲置小盒子的保活笔记:25 分钟一次平台执行与 409 冷却窗口
手里有两台注册好的小盒子,平时没什么活干,唯一的任务就是别掉线。听起来简单,真做起来却有两个坑:第一,怎么判断它还活着;第二,平台偶尔返回的“冷却中”到底算不算故障。这篇笔记记录我们最后定下来的做法。
先定标准:空闲看 CPU,不看流量
一台机器“闲着”有两种量法。一种是看流量:进出包多不多;另一种是看 CPU:处理器忙不忙。我们选了后者。
原因很实际。流量这个指标太容易被带偏:一台机器可能整夜没有业务流量,却因为系统更新、日志轮转、定时任务在后台跑得很忙;反过来,一台机器也可能流量不小,却只是健康检查的探针来回跑。CPU 利用率直接回答了真正的问题——这台机器现在有没有在干活。判断空闲的依据应该是负载本身,而不是它在网络上发出了多少声音。
这条标准后来也帮我们排除了不少误报。一次巡检里,有台机器的流量曲线看着“很热闹”,差点被判成异常,查下来只是例行的探针流量,CPU 一直贴着底线。按 CPU 判,它就是空闲的,没什么可折腾的。
保活怎么做:每 25 分钟一次平台执行
保活本身我们做得很轻:每 25 分钟通过平台执行一次轻量操作,确认盒子在线、能响应。没有常驻的复杂逻辑,没有人工智能参与判断,就是一个纯脚本的定时检查。
这个频率是权衡出来的。太密了浪费资源,平台侧也可能觉得烦;太稀了,掉线后发现得太晚。25 分钟是一个折中:掉线最多晚 25 分钟被发现,而日常开销小到可以忽略。
更重要的一点是分层。脚本自己就能完成绝大多数判断,只有连续多次失败、确实像是真故障时,才唤醒人工介入。日常的每一次成功检查都是静默的,不产生任何打扰。保活的意义是让人不用操心,而不是每 25 分钟提醒人一次“我还活着”。
409 冷却窗口:平台说“别急”,就别当成故障
真正有意思的坑出在平台返回的一个状态码上。
有一天早上,保活脚本连续唤醒了十几次。查下来,盒子其实没坏,平台返回的是 409,附带一个 machine_cooldown 的说明:机器正在冷却窗口里,暂时不接受新的执行请求。冷却窗口大约两小时,响应体里还带着一个 retryAfterSeconds 字段,告诉你还要等多少秒。
问题出在脚本原来的逻辑上:它把所有非成功的返回都当成失败计数。409 一来,失败计数一路上涨,到了阈值就唤醒人工。人工一看,机器好好的,只是平台让它歇一会儿。一次两次还好,一个早上十几次,谁都受不了。
修复的思路很直接:把 409 单独拎出来处理。收到 409 时,读出 retryAfterSeconds,记下冷却截止时间;在窗口内,不计失败、不唤醒,照常每轮去探一次——探的目的是确认窗口是否结束,而不是去催平台提前放行。窗口过去之后,再恢复原来的“连续失败才唤醒”规则。如果中途某次探测成功了,说明冷却已经结束,顺手把冷却记录清掉。
如果响应里读不到 retryAfterSeconds,就按一个保守的兜底时长处理,宁可多等一会儿,也不要在冷却期内反复打扰。
改完之后再遇到冷却窗口,整个过程就是静默的:脚本记下截止时间,到点再恢复正常计数,中间没有任何一次误唤醒。后来核对过几次,脚本记录的冷却截止时间与平台实际恢复的时间基本吻合,说明这个字段是可信的。
一点复盘
这两件事其实讲的是同一个道理:监控要先分清信号和噪声。
CPU 还是流量,是在选一个更贴近真实负载的信号;409 算不算失败,是在给噪声贴标签。标签贴错了,轻则多几次无谓的打扰,重则把真正需要关注的故障淹没在一堆误报里,让人对告警本身失去信任。
保活这件事,做到最后拼的不是检查有多勤,而是误报有多低。一个每 25 分钟检查一次、平时一声不吭、只在真出问题时才开口的保活,才是能长期跑下去的保活。
- 点赞
- 收藏
- 关注作者
评论(0)