告警风暴治理:把 Prometheus 每天 800 条告警压到 12 条

举报
yd_219600272 发表于 2026/11/14 09:22:34 2026/11/14
【摘要】 一、先看清告警风暴的形态接入 Prometheus 半年后,值班群里每天大约 800 条告警,真正需要人处理的不到 2%。复盘时我把一周的告警导出,按 alertname 与 instance 聚合,发现有三个典型特征:第一,同一个根因会同时触发 20 到 40 条下游告警,例如一个 MySQL 主库抖动会带出 30 条接口超时;第二,超过 60% 的告警描述的是症状而不是容量或错误预算;第...

一、先看清告警风暴的形态

接入 Prometheus 半年后,值班群里每天大约 800 条告警,真正需要人处理的不到 2%。复盘时我把一周的告警导出,按 alertname 与 instance 聚合,发现有三个典型特征:第一,同一个根因会同时触发 20 到 40 条下游告警,例如一个 MySQL 主库抖动会带出 30 条接口超时;第二,超过 60% 的告警描述的是症状而不是容量或错误预算;第三,有三分之一的告警从来没人写过处理步骤,看到只能先 @ 人。这三个特征决定了治理顺序:先去重,再换指标,最后清理无人认领的规则。

二、动作一:从症状告警换成结果告警

症状告警描述的是某个中间指标不好看,比如 CPU 使用率超过 80%、连接池使用率超过 90%。这类阈值与业务损害之间没有稳定映射:CPU 打满但延迟正常是安全的,CPU 只有 40% 却出现队列积压才是危险的。我把 40 多条资源类告警压到 6 条,改成以 SLO 为核心的燃烧率告警:用 5 分钟和 1 小时两个窗口计算错误预算消耗速率,只有 1 小时窗口燃烧率超过 14.4 才 page,5 分钟窗口只开工单。改完之后噪声直接下降一个数量级,而且每条告警都能对应到用户正在受影响这个可解释的事实。

三、动作二:分组、抑制与静默的边界

分组用 group_by: [alertname, cluster, service],group_wait 30 秒、group_interval 5 分钟、repeat_interval 4 小时。group_wait 太短会把同一次故障拆成多条通知,太长又会拖延首次响应,30 秒在多数业务上是折中值。抑制规则只写强因果的:数据库不可用抑制同实例的上层接口错误,节点 NotReady 抑制该节点上所有 Pod 告警;因果关系不确定就不要写抑制,宁可多收几条也不要漏。静默必须带过期时间和工单号,禁止无期限静默,我们统计过,线上七成的漏告警都来自忘记摘掉的静默。

四、动作三:没有 runbook 的告警直接删

给每条保留的告警补一段 runbook:它意味着什么、第一步看哪个面板、最常见的三种原因、升级路径是什么。写不出来的告警,说明我们自己也没想清楚它要防什么,直接删掉。这条最反直觉,但效果最好:规则从 127 条压到 31 条,值班同学第一次能在 5 分钟内判断要不要起床。

五、结果与复盘

治理后同口径统计,日均告警从 812 条降到 12 条,P1 平均响应时间从 18 分钟降到 6 分钟,误报率从 97% 降到 8%。三点经验:告警数量不是勤奋的证明,而是可观测性债;任何阈值告警都要先问一句超了会怎样,答不上来就换成 SLO;治理是持续动作,每季度重跑一次无人认领规则扫描,否则半年后又会回到 800 条。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。