用SMN承接CES告警后的降噪记录
告警为什么会突然变多
2025年3月,我们把一套订单服务迁到华为云ECS,规格是 s6.2xlarge.4,16 vCPU、32 GiB内存,系统盘使用通用型SSD 100 GiB。应用跑在Docker 25.0.3和JDK 17.0.11上,由Nginx转发请求。服务稳定运行后,我在CES里接了CPU、内存、磁盘和云服务器状态告警。
第二天早上,我收到37封邮件,标题几乎一样:[CES] 告警实例 ecs-b3f8。这些告警大多在两分钟内自动恢复,但我没有配置恢复通知,手机仍被连续震动。
我原以为问题出在SMN,查看主题的订阅列表后才发现,SMN只是把CES事件原样送出来。真正需要调整的是告警规则和事件过滤。这个判断我一开始做反了,又花了一个晚上重新创建规则。
先区分故障和抖动
订单服务的正常峰值CPU是42%,压测时能到76%;内存使用率长期在55%左右。真正危险的是进程持续失去响应,而不是一次采样超过60%。所以我没有把CPU阈值继续上调,而是把规则改成连续3个5分钟周期满足条件才触发。
指标名称:sys_cpu_util
统计周期:5分钟
连续周期数:3
触发条件:最近3个周期的平均CPU使用率 ≥ 75%
告警级别:紧急
持续时间:15分钟
磁盘规则没有照搬这个配置。系统盘告警使用90%阈值,连续2个周期触发;根分区达到95%时发紧急告警。2025年2月的一次发布曾把日志写到11.8 GiB,根分区只剩3.2 GiB,Docker daemon随后报出:
failed to create task for container: write /var/lib/docker/containers/...: no space left on device
p>这次恢复后,我在规则里补充了磁盘使用率连续2个周期达到85%的早期告警,并单独设置90%的紧急告警。相同指标出现不同级别时,只保留紧急通知,普通级规则直接关闭,避免两封邮件同时到达。
把恢复通知也接起来
只接收故障通知有一个坏处:凌晨收到告警后,我无法从邮件判断服务是否已经自行恢复。我在CES事件通知中同时订阅了告警恢复,规则状态恢复为正常时,SMN邮件正文会带出实例ID、指标名和恢复时间。
事件类型:alarm
资源类型:ecs
事件级别:critical
告警名称:order-api-cpu-high
区域:cn-north-4
我使用控制台创建SMN主题 prod-ecs-critical,协议选择邮件,订阅者填入值班邮箱。邮箱验证完成后,第二天测试消息正常送达。邮件通道没有产生额外消息费用,资源侧也没有新增服务器;按当月账单计算,这套通知方案的直接支出为0元。
短信我没有启用。控制台当时的单价页面显示短信按条计费,我只在测试阶段发过2条,共0.09元。生产环境如果改用短信,同月43次告警与恢复通知预计为1.94元,值班邮箱能看清上下文,所以我保留了邮件。
过滤不该进入通知的事件
第二天上午10:17,系统又发出6封告警,内容是NetworkInterfaceDeleted和NetworkInterfaceAttached。那不是ECS故障,而是弹性网卡切换时产生的事件。我最初以为这些事件与业务无关,直接删除了规则。
后来值班同事反馈,网卡重建虽然不发邮件,但会影响接口状态监控。我保留了事件,却没有把它接到紧急主题,而是新建了低级别诊断主题,只在工作日9:00到18:00接收汇总。
诊断主题:infra-daily-digest
过滤事件:NetworkInterfaceAttached
过滤事件:NetworkInterfaceDeleted
过滤事件:EipAssociate
通知协议:邮件
这里还有个细节。旧主题虽然取消订阅,主题本身仍然存在。我在SMN列表里看到它还关联着一条订阅,确认邮箱地址已经移除后,才删除旧主题。操作前通过CLI查询资源,避免误删生产通知链。
$ hcloud smn topic list --region cn-north-4
$ hcloud smn subscription list --region cn-north-4 --topic-urn urn:smn:cn-north-4:xxx:prod-ecs-critical
不同版本的CLI参数可能调整,我实际执行前用 hcloud smn topic list --help确认了一遍,没有直接照抄网上较早的命令示例。
用真实故障验证规则
规则上线后,我没有只点一次“测试告警”。测试按钮只能证明消息链路通,不能证明告警能被压住。我在一个测试实例上制造CPU压力,运行4分钟,CES没有发信;持续到19分钟后,邮箱收到一封紧急告警,停止压力后约6分钟收到恢复邮件。
另一个用例是内存。测试进程只让内存短时超过75%,随后在下一个周期下降,SMN没有收到通知。我又把容器内存限制调低,使节点内存使用率连续三个周期超过75%,这次告警按预期触发。
压测期间还出现过一次误报。Prometheus抓取接口返回了503,CES的云服务器状态指标短暂显示异常。旧规则立即发信,连续周期规则没有触发,但云服务器状态属于实例级事件,不支持延迟计算。我把这类事件从紧急主题移走,改由每日诊断主题承接。
留下了哪些检查项
- CPU规则只针对生产订单服务,阈值75%,每5分钟采样,连续3个周期触发。
- 根分区85%发早期告警,90%发紧急告警,恢复后都发送恢复邮件。
- 弹性网卡和EIP事件进入工作时间诊断主题,不再震动值班手机。
- 测试实例保留在独立CES分组,生产规则不会引用测试实例的指标。
上线7天后,告警邮件从每天37封降到4封,其中3封对应一次20分钟的CPU异常,1封是磁盘达到86%。告警恢复邮件有3封,值班群没有再收到重复转发。
目前还没处理的部分
现在仍有低频噪声来自JVM Full GC。单次Full GC达到780毫秒并不需要短信,但连续三次超过2秒可能代表停顿。我还没有为这个指标建立合适的表达式,因为不同订单接口的GC基线差异太大。下一步会先采集7天数据,再决定阈值。
另外,邮件正文没有直接附带Grafana仪表盘链接。我准备测试SMN的HTTP订阅,把实例ID和指标名传给内部通知接口;如果接口需要签名,还要单独做密钥轮换。目前这套方案能减少误报,但还不能根据业务影响自动判断订单是否真正失败。
- 点赞
- 收藏
- 关注作者
评论(0)