华为云 CES 云监控告警体系：让运维有的放矢

前言

云监控服务（CES）收集和展示华为云资源的监控指标，配合告警规则实现自动化运维。本文介绍如何构建完整的监控告警体系。

CES 核心概念

监控指标

每个云服务暴露一组监控指标，如 ECS 的 CPU 利用率、内存使用率、磁盘 IOPS。指标按固定周期采集，最小 1 分钟。

告警规则

告警规则定义监控条件和通知方式。当指标满足条件时触发告警，通过邮件、短信、钉钉等渠道通知。

告警历史

记录历史告警事件，包括触发时间、告警内容、处理状态。用于回溯分析和审计。

监控指标规划

基础设施指标

ECS 指标：CPU 利用率、内存使用率、磁盘使用率、网络流入流出速率。
VPC 指标：带宽使用率、流入流出包数。
ELB 指标：请求数、并发连接数、后端服务器健康状态。
RDS 指标：CPU 利用率、连接数、IOPS、磁盘空间。
OBS 桇标：桶容量、对象数、请求数。

应用指标

除了云服务指标，应用自定义指标也需监控：

QPS：每秒请求数。
响应时间：平均和分位响应时间。
错误率：HTTP 5xx 比例。
业务指标：订单量、活跃用户数等。

指标分层

将指标分为三层：

健康指标：服务是否可用，如存活状态、健康检查结果。
性能指标：服务质量如何，如响应时间、吞吐量。
容量指标：资源使用情况，如 CPU、内存、磁盘。

告警规则设计

告警阈值

阈值设置原则：

基于历史数据：分析正常范围设置阈值，避免凭感觉设置。
分级设置：警告阈值和严重阈值，不同级别不同处理。
避免抖动：设置连续 N 次达标才告警，避免瞬时波动误报。

告警级别

严重：服务不可用或即将不可用，需立即处理。如 CPU 超过 95%、健康检查失败。
重要：性能严重下降，需尽快处理。如 CPU 超过 85%、响应时间翻倍。
次要：需要关注但不紧急。如 CPU 超过 70%、磁盘使用超过 70%。
提示：信息性告警。如配置变更、自动伸缩触发。

告警通知

不同级别配置不同通知方式：

严重：电话加短信加邮件，确保及时触达。
重要：短信加邮件。
次要：邮件。
提示：仅记录不通知。

通知对象按职责分组：基础设施告警通知运维组，应用告警通知开发组，数据库告警通知 DBA 组。

告警处理流程

自动化处理

配合自动化工具实现告警自愈：

CPU 过高：触发 AS 弹性伸缩添加实例。
磁盘空间不足：触发清理脚本删除旧日志。
服务不可用：触发重启脚本或切换到备实例。

人工处理

严重告警需要人工介入：

确认告警：查看告警详情和相关指标。
定位问题：分析指标趋势和日志定位根因。
处理问题：扩容、重启、修复代码等。
记录处理：记录处理过程和结果用于复盘。

告警收敛

避免告警风暴淹没运维：

同一资源同一指标在时间窗内只告警一次。
关联告警合并：一个故障触发多个告警时合并为一条。
维护窗口抑制：计划维护期间抑制相关告警。

监控大盘

自定义大盘

将关键指标组织到监控大盘，一屏掌握系统状态：

系统概览大盘：各服务健康状态和核心指标。
应用性能大盘：QPS、响应时间、错误率趋势。
资源容量大盘：CPU、内存、磁盘使用率趋势。
业务大盘：业务核心指标如订单量和用户数。

大盘设计原则

一屏概览：关键信息一屏展示，避免过多翻页。
颜色语义：绿色正常、黄色警告、红色异常。
趋势优先：展示趋势图而非单点值，趋势更有价值。
分层下钻：从概览到详情逐层下钻定位问题。

常见问题

问：告警太多怎么办？
答：优化阈值减少误报，配置告警收敛避免风暴，按级别过滤低优先级告警。

问：如何衡量监控效果？
答：关注 MTTR（平均修复时间）和告警准确率。MTTR 越短监控越有效，告警准确率高说明阈值合理。

总结

完整的监控告警体系是高效运维的基础。分层规划指标，分级配置告警，配合自动化处理和告警收敛。监控大盘让系统状态一目了然，快速发现和定位问题。