华为云CES告警治理-从每天400条到12条

举报
yd_221506059 发表于 2026/10/28 21:49:33 2026/10/28
【摘要】 值班群每天 400 条告警,所有人都开了免打扰,真出故障时告警混在一堆磁盘 85%、CPU 80% 里,两小时后才被发现。本文给出判断标准:告警的对象是人不是指标,凡是不能让人立刻做出动作的都不该告警。文中拆解了告警的三个失败模式、告警风暴的聚合与抑制手段、为什么固定阈值必然误报,以及一条合格告警必须包含的五个要素,最后用每周巡检让告警规则能自我进化。

华为云 CES 告警治理:从每天 400 条到每天 12 条,真故障一条没漏

值班群里每天几百条告警,所有人都开了免打扰。真正出事那天,故障告警混在一堆"磁盘 85%""CPU 80%"里,两小时后才有人发现。这不是告警不够,是告警太多。这篇文章讲清楚一条判断标准:告警的对象是人,不是指标——凡是不能让人立刻做出动作的,都不该是告警。

一、现象:告警越多,响应越慢

治理前的状态,很多团队都能对号入座:

指标 治理前
日均告警量 约 400 条
告警渠道 一个全员群,无分级
平均响应时间(MTTA) 47 分钟
真实故障平均发现时间 2 小时以上
值班感受 “反正天天响,不看了”

关键矛盾在这里:告警量和响应速度是负相关的。当每天有 400 条告警时,人的注意力被均摊到 400 个事件上,每条告警分到的注意力趋近于零。真正的故障告警并不会因为是"第 387 条"而获得额外关注。

这叫告警疲劳(alert fatigue),是运维体系里最贵的隐性成本。

二、先立一条判断标准

治理告警,最有效的一条原则是:

告警的对象是"人",不是"指标"。告警的唯一目的是让人做出一个具体动作。

拿这条标准去检验现有告警,会发现大部分都不合格:

告警内容 收到后你会做什么? 判定
“CPU 使用率 > 80%” 不知道,可能什么都不做 ❌ 不是告警
“磁盘使用率 > 85%” 不知道,还有 15% 呢 ❌ 不是告警
“订单接口 P99 > 1s,错误率 3%,影响下单” 立即查看变更记录、决定是否回滚 ✅ 是告警
“证书 7 天后过期,需续签” 提交续签工单 ✅ 是告警

分界线是"有没有明确的下一步动作"。

所以指标的正确去处是看板,不是告警。CPU 80%、内存 70%、连接数 5000 这些数字应该挂在大屏上让人随时能看,但不该主动推送到手机上。

华为云 CES 的指标、监控大盘、告警规则是三层能力:指标进大盘,只有满足"可行动"条件的才配成告警规则。

三、告警的三个失败模式

失败模式 1:太多

一个服务几百个指标,如果每个都配阈值告警,一天就是几百条。告警量必须和人的处理能力匹配:一个值班的人,一天能真正处理的事件上限大约是 10~20 个。

超过这个量,要么告警被忽略,要么人就废了。

失败模式 2:太吵

"吵"不是指数量,而是指误报比例高。一个每天响 50 次、其中 45 次是误报的告警,比每天响 5 次的告警更糟糕——因为它训练了人的忽略习惯。

信噪比低于 1:5 的告警规则,应该直接下线或重构。

失败模式 3:不可行动

告警内容只有一句"服务器异常",没有影响面、没有上下钻链接、没有最近变更。收到的人第一件事是花 20 分钟搞清楚发生了什么——这 20 分钟是告警设计缺陷直接转化成的 MTTR。

四、告警风暴:一次抖动,两百条告警

这是最典型的场景:

核心交换机抖动 30 秒
  → 200 台 ECS 网络超时告警
  → 80 个服务健康检查失败告警
  → 40 个接口错误率飙升告警
  → 30 条业务监控告警
  → 值班手机在 1 分钟内被 350 条消息淹没

根因只有一个,告警却有 350 条——这就是告警风暴。

三个治理手段

手段 作用 例子
聚合(Grouping) 把同源告警合并成一条 同一可用区的 200 台机器告警合并为"可用区 A 网络异常(200 实例)"
抑制(Inhibition) 上游故障时,抑制下游告警 网络层告警触发后,抑制应用层健康检查告警
降噪窗口 短时间内的重复告警只发一次 同一规则 5 分钟内只通知一次

抑制规则的设计关键是"依赖关系"。 你需要先画出资源依赖图:

网络 → 主机 → 容器运行时 → 应用进程 → 接口

上游告警触发时,下游的告警都是噪音,应该被抑制。没有依赖图的团队,抑制规则是配不出来的——这也是为什么告警治理本质上是架构梳理工作。

五、阈值怎么定:别拍脑袋用 80%

"磁盘 85% 告警"是典型的拍脑袋阈值。它有两个问题:

  1. 85% 时你并不会做什么,还有 15% 空间
  2. 真正该关心的是"什么时候会满",而不是"现在是多少"

正确的做法是看增长率并预测:

剩余空间 150 GB ÷ 近 7 天平均日增长 12 GB ≈ 12.5 天

告警条件应该是"预计 7 天内写满",而不是"使用率超过 85%。"

这样告警才真正可行动:收到就知道该扩容了,不是"再看看"。

业务指标不能用固定阈值

CPU、QPS、响应时间都有强周期性:白天高、夜间低,工作日高、周末低。固定阈值必然两头不讨好:

  • 阈值定高了,业务低峰出事发现不了
  • 阈值定低了,每天高峰误报

改用同环比或基线:与"上周同一时段"比较,偏离超过 N 个标准差才告警。华为云 CES 支持对指标做同比/环比配置,也支持配置多指标组合条件,能显著降低周期性误报。

真正该告警的:错误预算燃烧率

比"错误率 > 1%"更科学的做法是 SLO 燃烧率:

SLO:可用性 99.9%(每月允许 43 分钟不可用)
当前:错误预算在 1 小时内烧掉了 20%
→ 按这个速度,4 小时就会用完整个月的预算

燃烧率告警的妙处在于:它直接告诉你"还剩多少时间",天然可行动。 而且它自动过滤掉了"错误率 1.2% 但总量很小"这类无意义告警。

六、分级:不是所有告警都值得叫醒人

告警必须分级,否则等于没有分级:

级别 判据 通知方式 响应要求
P0 用户可感知的功能不可用 电话 + 短信 5 分钟内响应
P1 核心功能降级,有临时绕行方案 电话 + 群消息 15 分钟
P2 容量/趋势类风险,不影响当前业务 群消息 当日处理
P3 需要跟进但不紧急(证书到期等) 工单/邮件 本周处理

关键原则:P0 和 P1 才允许打电话。 电话是稀缺资源,一旦被滥用(半夜被"磁盘 80%"吵醒两次),值班制度就废了。

七、一条告警应该包含什么

告警内容的质量,直接决定 MTTA。一条合格的告警至少要包含五要素:

【P1】订单创建接口错误率 4.2%,影响约 1.2 万次下单
影响面:华东区,近 10 分钟
触发条件:错误率 > 1% 持续 5 分钟(SLO 燃烧率 8x)
可能原因:5 分钟前有发布(order-service v2.3.1)
排查链接:<监控大盘> <日志检索> <变更记录>
处理建议:先确认是否与发布相关,可回滚至 v2.3.0

对比一下"订单服务异常"这种告警,差距是 20 分钟的排查时间。

要素清单:

  1. 级别 + 一句话说清发生了什么
  2. 影响面:影响多少用户/多少请求/哪个区域
  3. 触发条件:让人知道判据,方便判断是否是误报
  4. 上下文:最近的变更、依赖状态
  5. 下一步:排查链接 + 建议动作

八、治理流程:让告警能自我进化

告警不是配一次就完事。需要一个持续机制:

每周告警巡检

对上周的每条告警规则做一次复盘:

检查项 处理
上周触发 0 次 阈值可能过松,或者该指标根本不重要 → 评估下线
触发了但没人处理 不可行动的告警,直接下线
触发了,处理了,但最后是误报 调整阈值或改用基线
触发了,处理了,确实有问题 保留,考虑是否可以提前预警

"触发了但没人处理"是最强的下线信号。 它说明这条告警在组织里已经被判定为无用。

故障复盘反查

每次真实故障后,问三个问题:

  1. 我们提前收到告警了吗?没有 → 缺什么告警
  2. 收到的是根因告警还是现象告警?都是现象 → 需要补充关键路径监控
  3. 有没有无关告警一起响了?有 → 补抑制规则

九、治理效果

指标 治理前 治理后
日均告警量 400 条 12 条
告警规则总数 约 600 条 78 条
误报率 约 85% 8%
MTTA 47 分钟 4 分钟
真实故障发现时间 2 小时以上 5 分钟内
漏报的 P0 故障 — 0

最值得看的是最后一行:告警量降到 3%,但没有漏掉任何一个真正的 P0 故障。

这说明前面那些告警本来就不该存在——它们不是在保护系统,只是在消耗人的注意力。

十、小结

四句话:

  1. 告警的对象是人,不是指标;不能让人做出具体动作的,应该进看板而不是进手机。
  2. 告警量要和人的处理能力匹配,一个值班的人一天能处理 10~20 个事件,超了就是集体忽略。
  3. 告警风暴靠依赖图解决,先画清"网络 → 主机 → 应用 → 接口"的依赖关系,才能配出有效的抑制规则。
  4. 阈值要看趋势不看瞬时值,磁盘告警应该是"预计 7 天写满",而不是"现在 85%"。

如果只记一句:判断一条告警该不该留,就问自己"半夜被它叫醒,我会做什么"——答不上来就删掉。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。