告警分级实战:按打扰级别选穿透模式
上周我们一个自动补货脚本挂了,三天没人发现。翻推送记录,它每天都在推“执行成功”日报,第九条之后基本上没人点开。更难受的是凌晨两点库存跌破阈值的那条告警,被夹在三条重试失败日志中间,值班同学第二天才看到。问题不在告警发没发出去,在于我们把所有消息都当成同一个打扰级别往外扔。
先问“要不要现在把人叫醒”,而不是“这有多严重”
传统分级喜欢用 P0/P1/P2 或“严重/警告/提示”,但真正决定用户体验的只有一件事:这条消息需不需要此刻打断人。所以我把告警配置拆成两条轴:一条是严重级别(业务后果),一条是打扰级别(push 行为)。打扰级别只留三档:passive 进汇总列表不弹;active 立即推送;timeSensitive 允许穿透勿扰和静默。
这里最容易做错的是把“重要”直接映射成 timeSensitive。原来我们库存预警配的是 timeSensitive,因为“库存是核心指标”。结果一周推了 40 多次,人直接关掉了这个通知渠道,后面真正的断货告警也丢了。修正后的规则写在配置里:只有满足“服务不可用”或“库存低于安全线且距上次推送超过 24 小时”两个条件之一,才配 timeSensitive;其余统一 active。宁可让 push 带着轻微延迟,也不要让人开始屏蔽你。
state 去重:同一天同类告警只推一次
告警风暴的根源不是告警多,是同一件事被重复描述。我们在推送前加了一层 state 记录,key 由“告警类型 + 资源标识 + 自然日”组成,比如 inventory_low:sku_1024:2026-11-16,落到 Redis 里,带 TTL 到当天 23:59:59。SET key 1 NX EX 成功才允许真正发送。
- 告警恢复时只有发送过的才发一条“已恢复”,key 换成
resolved:前缀,避免恢复消息反超成刷屏源。 - 阈值是连续采样的,去重之后仍保留最新的值写进日报,不单独推。
- 跨天不清零的规则(如磁盘持续增长)得单独配
repeat_after,默认 24 小时。
上线后单类告警的推送量从日均 37 条降到 1 条,值班群里的“收到”比例反而变高了。
静默时段:夜间只放两类告警穿透
我们设的静默窗口是每天 22:30 到次日 07:30,周末白天也静默。窗口内只允许两类告警穿透到 timeSensitive:服务进程/健康检查失败、库存低于安全线。其他告警降级为 passive,进列表等早上汇总。
实现上别把判断散落到各个发送点,统一交给一个 gateway:发送前查当前时间和告警类别,命中静默则改写打扰级别。要抓的异常是“静默期变成了黑洞”。所以加了一条监控:夜间入库的 passive 告警条数和 timeSensitive 条数都按小时打点,passive 超过阈值或 timeSensitive 突然暴增都触发一条普通告警。这样静默策略本身也有观测。
限流:给风暴定一个上限
光靠去重挡不住级联故障。我们用令牌桶给每个“告警类别 + 渠道”限流,默认每分钟 10 条、每小时 60 条。超过上限的消息不丢,改成合并成一条:内容写“过去 5 分钟内 N 条相同类别告警,首条:…最新一条:…”,只保留首末两条的摘要,中间原文落日志供检索。
另一个常见坑是推送失败后的重试。重试必须带单调递增的 event_id,消费侧按 event_id 幂等,否则一次超时会变成三次重复打扰。我们之前就是因为重试没带幂等键,一条磁盘告警推了 6 次。
最后给个可直接套用的检查清单,发布前过一遍:每类告警是否写明了打扰级别而不是只写严重级别;是否有当天去重 key;静默期能否明确列出穿透白名单;限流超限后的合并文案是否包含首末条与计数;失败重试是否幂等。这五条都过了,再往群里推。
- 点赞
- 收藏
- 关注作者
评论(0)