华为云CES告警治理-从每天400条到12条
华为云 CES 告警治理:从每天 400 条到每天 12 条,真故障一条没漏
值班群里每天几百条告警,所有人都开了免打扰。真正出事那天,故障告警混在一堆"磁盘 85%""CPU 80%"里,两小时后才有人发现。这不是告警不够,是告警太多。这篇文章讲清楚一条判断标准:告警的对象是人,不是指标——凡是不能让人立刻做出动作的,都不该是告警。
一、现象:告警越多,响应越慢
治理前的状态,很多团队都能对号入座:
| 指标 | 治理前 |
|---|---|
| 日均告警量 | 约 400 条 |
| 告警渠道 | 一个全员群,无分级 |
| 平均响应时间(MTTA) | 47 分钟 |
| 真实故障平均发现时间 | 2 小时以上 |
| 值班感受 | “反正天天响,不看了” |
关键矛盾在这里:告警量和响应速度是负相关的。当每天有 400 条告警时,人的注意力被均摊到 400 个事件上,每条告警分到的注意力趋近于零。真正的故障告警并不会因为是"第 387 条"而获得额外关注。
这叫告警疲劳(alert fatigue),是运维体系里最贵的隐性成本。
二、先立一条判断标准
治理告警,最有效的一条原则是:
告警的对象是"人",不是"指标"。告警的唯一目的是让人做出一个具体动作。
拿这条标准去检验现有告警,会发现大部分都不合格:
| 告警内容 | 收到后你会做什么? | 判定 |
|---|---|---|
| “CPU 使用率 > 80%” | 不知道,可能什么都不做 | ❌ 不是告警 |
| “磁盘使用率 > 85%” | 不知道,还有 15% 呢 | ❌ 不是告警 |
| “订单接口 P99 > 1s,错误率 3%,影响下单” | 立即查看变更记录、决定是否回滚 | ✅ 是告警 |
| “证书 7 天后过期,需续签” | 提交续签工单 | ✅ 是告警 |
分界线是"有没有明确的下一步动作"。
所以指标的正确去处是看板,不是告警。CPU 80%、内存 70%、连接数 5000 这些数字应该挂在大屏上让人随时能看,但不该主动推送到手机上。
华为云 CES 的指标、监控大盘、告警规则是三层能力:指标进大盘,只有满足"可行动"条件的才配成告警规则。
三、告警的三个失败模式
失败模式 1:太多
一个服务几百个指标,如果每个都配阈值告警,一天就是几百条。告警量必须和人的处理能力匹配:一个值班的人,一天能真正处理的事件上限大约是 10~20 个。
超过这个量,要么告警被忽略,要么人就废了。
失败模式 2:太吵
"吵"不是指数量,而是指误报比例高。一个每天响 50 次、其中 45 次是误报的告警,比每天响 5 次的告警更糟糕——因为它训练了人的忽略习惯。
信噪比低于 1:5 的告警规则,应该直接下线或重构。
失败模式 3:不可行动
告警内容只有一句"服务器异常",没有影响面、没有上下钻链接、没有最近变更。收到的人第一件事是花 20 分钟搞清楚发生了什么——这 20 分钟是告警设计缺陷直接转化成的 MTTR。
四、告警风暴:一次抖动,两百条告警
这是最典型的场景:
核心交换机抖动 30 秒
→ 200 台 ECS 网络超时告警
→ 80 个服务健康检查失败告警
→ 40 个接口错误率飙升告警
→ 30 条业务监控告警
→ 值班手机在 1 分钟内被 350 条消息淹没
根因只有一个,告警却有 350 条——这就是告警风暴。
三个治理手段
| 手段 | 作用 | 例子 |
|---|---|---|
| 聚合(Grouping) | 把同源告警合并成一条 | 同一可用区的 200 台机器告警合并为"可用区 A 网络异常(200 实例)" |
| 抑制(Inhibition) | 上游故障时,抑制下游告警 | 网络层告警触发后,抑制应用层健康检查告警 |
| 降噪窗口 | 短时间内的重复告警只发一次 | 同一规则 5 分钟内只通知一次 |
抑制规则的设计关键是"依赖关系"。 你需要先画出资源依赖图:
网络 → 主机 → 容器运行时 → 应用进程 → 接口
上游告警触发时,下游的告警都是噪音,应该被抑制。没有依赖图的团队,抑制规则是配不出来的——这也是为什么告警治理本质上是架构梳理工作。
五、阈值怎么定:别拍脑袋用 80%
"磁盘 85% 告警"是典型的拍脑袋阈值。它有两个问题:
- 85% 时你并不会做什么,还有 15% 空间
- 真正该关心的是"什么时候会满",而不是"现在是多少"
正确的做法是看增长率并预测:
剩余空间 150 GB ÷ 近 7 天平均日增长 12 GB ≈ 12.5 天
告警条件应该是"预计 7 天内写满",而不是"使用率超过 85%。"
这样告警才真正可行动:收到就知道该扩容了,不是"再看看"。
业务指标不能用固定阈值
CPU、QPS、响应时间都有强周期性:白天高、夜间低,工作日高、周末低。固定阈值必然两头不讨好:
- 阈值定高了,业务低峰出事发现不了
- 阈值定低了,每天高峰误报
改用同环比或基线:与"上周同一时段"比较,偏离超过 N 个标准差才告警。华为云 CES 支持对指标做同比/环比配置,也支持配置多指标组合条件,能显著降低周期性误报。
真正该告警的:错误预算燃烧率
比"错误率 > 1%"更科学的做法是 SLO 燃烧率:
SLO:可用性 99.9%(每月允许 43 分钟不可用)
当前:错误预算在 1 小时内烧掉了 20%
→ 按这个速度,4 小时就会用完整个月的预算
燃烧率告警的妙处在于:它直接告诉你"还剩多少时间",天然可行动。 而且它自动过滤掉了"错误率 1.2% 但总量很小"这类无意义告警。
六、分级:不是所有告警都值得叫醒人
告警必须分级,否则等于没有分级:
| 级别 | 判据 | 通知方式 | 响应要求 |
|---|---|---|---|
| P0 | 用户可感知的功能不可用 | 电话 + 短信 | 5 分钟内响应 |
| P1 | 核心功能降级,有临时绕行方案 | 电话 + 群消息 | 15 分钟 |
| P2 | 容量/趋势类风险,不影响当前业务 | 群消息 | 当日处理 |
| P3 | 需要跟进但不紧急(证书到期等) | 工单/邮件 | 本周处理 |
关键原则:P0 和 P1 才允许打电话。 电话是稀缺资源,一旦被滥用(半夜被"磁盘 80%"吵醒两次),值班制度就废了。
七、一条告警应该包含什么
告警内容的质量,直接决定 MTTA。一条合格的告警至少要包含五要素:
【P1】订单创建接口错误率 4.2%,影响约 1.2 万次下单
影响面:华东区,近 10 分钟
触发条件:错误率 > 1% 持续 5 分钟(SLO 燃烧率 8x)
可能原因:5 分钟前有发布(order-service v2.3.1)
排查链接:<监控大盘> <日志检索> <变更记录>
处理建议:先确认是否与发布相关,可回滚至 v2.3.0
对比一下"订单服务异常"这种告警,差距是 20 分钟的排查时间。
要素清单:
- 级别 + 一句话说清发生了什么
- 影响面:影响多少用户/多少请求/哪个区域
- 触发条件:让人知道判据,方便判断是否是误报
- 上下文:最近的变更、依赖状态
- 下一步:排查链接 + 建议动作
八、治理流程:让告警能自我进化
告警不是配一次就完事。需要一个持续机制:
每周告警巡检
对上周的每条告警规则做一次复盘:
| 检查项 | 处理 |
|---|---|
| 上周触发 0 次 | 阈值可能过松,或者该指标根本不重要 → 评估下线 |
| 触发了但没人处理 | 不可行动的告警,直接下线 |
| 触发了,处理了,但最后是误报 | 调整阈值或改用基线 |
| 触发了,处理了,确实有问题 | 保留,考虑是否可以提前预警 |
"触发了但没人处理"是最强的下线信号。 它说明这条告警在组织里已经被判定为无用。
故障复盘反查
每次真实故障后,问三个问题:
- 我们提前收到告警了吗?没有 → 缺什么告警
- 收到的是根因告警还是现象告警?都是现象 → 需要补充关键路径监控
- 有没有无关告警一起响了?有 → 补抑制规则
九、治理效果
| 指标 | 治理前 | 治理后 |
|---|---|---|
| 日均告警量 | 400 条 | 12 条 |
| 告警规则总数 | 约 600 条 | 78 条 |
| 误报率 | 约 85% | 8% |
| MTTA | 47 分钟 | 4 分钟 |
| 真实故障发现时间 | 2 小时以上 | 5 分钟内 |
| 漏报的 P0 故障 | — | 0 |
最值得看的是最后一行:告警量降到 3%,但没有漏掉任何一个真正的 P0 故障。
这说明前面那些告警本来就不该存在——它们不是在保护系统,只是在消耗人的注意力。
十、小结
四句话:
- 告警的对象是人,不是指标;不能让人做出具体动作的,应该进看板而不是进手机。
- 告警量要和人的处理能力匹配,一个值班的人一天能处理 10~20 个事件,超了就是集体忽略。
- 告警风暴靠依赖图解决,先画清"网络 → 主机 → 应用 → 接口"的依赖关系,才能配出有效的抑制规则。
- 阈值要看趋势不看瞬时值,磁盘告警应该是"预计 7 天写满",而不是"现在 85%"。
如果只记一句:判断一条告警该不该留,就问自己"半夜被它叫醒,我会做什么"——答不上来就删掉。
- 点赞
- 收藏
- 关注作者
评论(0)