华为云监控 CES:从默认指标到自定义业务监控
云上跑服务,光看日志不够——日志告诉你「出了什么错」,监控告诉你「什么时候开始不对」。这篇讲 CES(云监控服务)怎么用,重点是怎么把业务指标接进去。
默认能看什么
创建 ECS 之后,CES 自动采集这些指标:
| 类别 | 指标 |
|---|---|
| CPU | 使用率、负载 |
| 内存 | 使用率、可用量(需装 Agent) |
| 磁盘 | 读写速率、使用率(需装 Agent) |
| 网络 | 入/出带宽、包数 |
| 进程 | 进程数(需装 Agent) |
注意「需装 Agent」这几个。CPU 和网络是虚拟化层采集的,不用装东西;内存和磁盘必须装 Agent。
装 Agent:
cd /usr/local && curl -fsSL https://telescope-cn-north-4.obs.cn-north-4.myhuaweicloud.com/package/telescope_linux_amd64.tar.gz -o t.tgz
tar -xzf t.tgz
cd telescope && sudo ./install.sh
装完在控制台「主机监控」里能看到内存曲线。
告警规则怎么配
「告警规则」→「创建告警规则」。
关键参数:
周期:指标聚合的时间窗口,1 分钟 / 5 分钟 / 20 分钟。周期越短越灵敏,也越容易误报。
连续次数:连续 N 个周期满足条件才触发。设成 3 意味着连续 3 分钟 CPU 超 80% 才告警。
建议配置:
| 指标 | 阈值 | 周期 | 连续次数 |
|---|---|---|---|
| CPU 使用率 | > 85% | 5 分钟 | 3 |
| 内存使用率 | > 90% | 5 分钟 | 2 |
| 磁盘使用率 | > 85% | 20 分钟 | 1 |
| 带宽 | > 80% 规格上限 | 5 分钟 | 3 |
磁盘用 20 分钟周期,因为磁盘增长是缓慢的,短周期没意义。
自定义指标:把业务数据接进来
默认指标只看资源,看不到业务。比如「订单创建失败率」「支付超时次数」这些,要靠自定义指标。
方式一:SDK 上报
from huaweicloudsdkcore.auth.credentials import BasicCredentials
from huaweicloudsdkces.v1 import CesClient, BatchMetricDataRequestBody, MetricInfo, Datapoint
from huaweicloudsdkces.v1.region.ces_region import CesRegion
credentials = BasicCredentials(ak, sk, project_id)
client = CesClient.new_builder() \
.with_credentials(credentials) \
.with_region(CesRegion.value_of("cn-north-4")) \
.build()
metric = MetricInfo(
namespace="SERVICE.CUSTOM",
metric_name="order_fail_rate",
dimensions=[{"name": "instance", "value": "api-01"}],
)
datapoint = Datapoint(timestamp=int(time.time() * 1000), value=fail_rate)
req = BatchMetricDataRequestBody(metric=metric, datapoints=[datapoint])
client.batch_create_metric_data(req)
几个约束:
namespace必须以SERVICE.或SYS.开头(自定义用SERVICE.)- 指标名只能包含字母、数字、下划线,长度 1-64
- 时间戳是毫秒
- 单次最多 100 个数据点
方式二:用 AOM 的 Prometheus 接入
如果服务已经暴露了 /metrics 端点(Prometheus 格式),可以用 AOM(应用运维管理)的采集器直接拉,不用自己写上报代码。
配置步骤:
- AOM 控制台 → 「Prometheus 实例」→ 创建
- 配置采集任务,填目标地址和端口
- 在 CES 里能看到这些指标
这个方式对已有 Prometheus 监控的服务最省事。
一个实际场景:监控订单失败率
需求:订单创建失败率超过 5% 就告警。
第一步:应用侧埋点
from prometheus_client import Counter, Gauge
order_total = Counter("order_total", "Total orders")
order_failed = Counter("order_failed", "Failed orders")
order_fail_rate = Gauge("order_fail_rate", "Fail rate")
# 每次下单
def create_order(...):
order_total.inc()
try:
do_create(...)
except Exception:
order_failed.inc()
raise
finally:
total = order_total._value.get()
failed = order_failed._value.get()
order_fail_rate.set(failed / total if total else 0)
第二步:暴露 metrics 端点
from prometheus_client import generate_latest, CONTENT_TYPE_LATEST
@app.route("/metrics")
def metrics():
return generate_latest(), 200, {"Content-Type": CONTENT_TYPE_LATEST}
第三步:AOM 采集 + CES 告警
采集器拉 /metrics,指标进 CES,然后在 CES 里配告警规则:order_fail_rate > 0.05 连续 2 个周期。
第四步:通知渠道
CES 支持 SMN(消息通知服务)推送,SMN 可以发邮件、短信、或者推到企业微信/钉钉的 webhook。
配好之后出问题能第一时间知道,不用等用户投诉。
大盘怎么配
「监控大盘」可以自定义布局,把关键指标放一屏。
一个实用的布局:
第一行:所有实例的 CPU / 内存(快速判断是不是资源问题)
第二行:QPS / 错误率 / 延迟 P99(业务健康度)
第三行:数据库连接数 / 慢查询数(依赖健康度)
第四行:带宽 / 磁盘(容量预警)
看大盘的顺序:先看资源,再看业务,最后看依赖。资源正常业务异常 → 代码问题;资源异常 → 扩容或优化。
踩过的坑
坑一:装 Agent 后数据要等几分钟
不是实时出。装完等 5-10 分钟才能在控制台看到内存曲线。
坑二:自定义指标报 400
最常见原因是 namespace 格式不对。必须是 SERVICE.XXX,不能直接写 MYAPP。
坑三:告警不触发
检查三件事:
- 指标是否真的有数据(在大盘里查一下)
- 阈值方向对不对(有些指标是「低于」触发)
- 告警规则是否绑定到具体资源
坑四:告警风暴
一个指标抖一下发几十条通知。解决办法:
- 设「连续次数」,别用 1
- 配「告警合并」,同一规则 5 分钟内只发一次
- 分级:warning 只发邮件,critical 才发短信
坑五:Agent 占资源
Telescope Agent 本身占几十 MB 内存和一点 CPU。小规格实例(1C1G)上会明显。可以调采集间隔,从 1 分钟改 5 分钟。
成本
CES 的基础指标(CPU、网络)免费。自定义指标按上报数据点收费,价格很低(百万点几块钱)。
Agent 免费。
告警通知通过 SMN 发短信要钱(一条几分钱),邮件免费。
整体成本可以忽略,该开就开。
小结
监控的核心不是「装个工具」,而是「想清楚什么指标异常代表业务出问题」。
资源指标(CPU/内存/磁盘)只能告诉你「机器累不累」,业务指标(QPS/错误率/延迟)才告诉你「用户爽不爽」。后者更值得投入。
从零搭的话,优先级:核心链路错误率 > P99 延迟 > CPU/内存 > 磁盘 > 带宽。
- 点赞
- 收藏
- 关注作者
评论(0)