华为云监控 CES:从默认指标到自定义业务监控

举报
yd_271063030 发表于 2026/11/12 02:33:32 2026/11/12
【摘要】 云上跑服务,光看日志不够——日志告诉你「出了什么错」,监控告诉你「什么时候开始不对」。这篇讲 CES(云监控服务)怎么用,重点是怎么把业务指标接进去。

云上跑服务,光看日志不够——日志告诉你「出了什么错」,监控告诉你「什么时候开始不对」。这篇讲 CES(云监控服务)怎么用,重点是怎么把业务指标接进去。

默认能看什么

创建 ECS 之后,CES 自动采集这些指标:

类别 指标
CPU 使用率、负载
内存 使用率、可用量(需装 Agent)
磁盘 读写速率、使用率(需装 Agent)
网络 入/出带宽、包数
进程 进程数(需装 Agent)

注意「需装 Agent」这几个。CPU 和网络是虚拟化层采集的,不用装东西;内存和磁盘必须装 Agent。

装 Agent:

cd /usr/local && curl -fsSL https://telescope-cn-north-4.obs.cn-north-4.myhuaweicloud.com/package/telescope_linux_amd64.tar.gz -o t.tgz
tar -xzf t.tgz
cd telescope && sudo ./install.sh

装完在控制台「主机监控」里能看到内存曲线。

告警规则怎么配

「告警规则」→「创建告警规则」。

关键参数:

周期:指标聚合的时间窗口,1 分钟 / 5 分钟 / 20 分钟。周期越短越灵敏,也越容易误报。

连续次数:连续 N 个周期满足条件才触发。设成 3 意味着连续 3 分钟 CPU 超 80% 才告警。

建议配置:

指标 阈值 周期 连续次数
CPU 使用率 > 85% 5 分钟 3
内存使用率 > 90% 5 分钟 2
磁盘使用率 > 85% 20 分钟 1
带宽 > 80% 规格上限 5 分钟 3

磁盘用 20 分钟周期,因为磁盘增长是缓慢的,短周期没意义。

自定义指标:把业务数据接进来

默认指标只看资源,看不到业务。比如「订单创建失败率」「支付超时次数」这些,要靠自定义指标。

方式一:SDK 上报

from huaweicloudsdkcore.auth.credentials import BasicCredentials
from huaweicloudsdkces.v1 import CesClient, BatchMetricDataRequestBody, MetricInfo, Datapoint
from huaweicloudsdkces.v1.region.ces_region import CesRegion

credentials = BasicCredentials(ak, sk, project_id)
client = CesClient.new_builder() \
    .with_credentials(credentials) \
    .with_region(CesRegion.value_of("cn-north-4")) \
    .build()

metric = MetricInfo(
    namespace="SERVICE.CUSTOM",
    metric_name="order_fail_rate",
    dimensions=[{"name": "instance", "value": "api-01"}],
)

datapoint = Datapoint(timestamp=int(time.time() * 1000), value=fail_rate)

req = BatchMetricDataRequestBody(metric=metric, datapoints=[datapoint])
client.batch_create_metric_data(req)

几个约束:

  • namespace 必须以 SERVICE. 或 SYS. 开头(自定义用 SERVICE.)
  • 指标名只能包含字母、数字、下划线,长度 1-64
  • 时间戳是毫秒
  • 单次最多 100 个数据点

方式二:用 AOM 的 Prometheus 接入

如果服务已经暴露了 /metrics 端点(Prometheus 格式),可以用 AOM(应用运维管理)的采集器直接拉,不用自己写上报代码。

配置步骤:

  1. AOM 控制台 → 「Prometheus 实例」→ 创建
  2. 配置采集任务,填目标地址和端口
  3. 在 CES 里能看到这些指标

这个方式对已有 Prometheus 监控的服务最省事。

一个实际场景:监控订单失败率

需求:订单创建失败率超过 5% 就告警。

第一步:应用侧埋点

from prometheus_client import Counter, Gauge

order_total = Counter("order_total", "Total orders")
order_failed = Counter("order_failed", "Failed orders")
order_fail_rate = Gauge("order_fail_rate", "Fail rate")

# 每次下单
def create_order(...):
    order_total.inc()
    try:
        do_create(...)
    except Exception:
        order_failed.inc()
        raise
    finally:
        total = order_total._value.get()
        failed = order_failed._value.get()
        order_fail_rate.set(failed / total if total else 0)

第二步:暴露 metrics 端点

from prometheus_client import generate_latest, CONTENT_TYPE_LATEST

@app.route("/metrics")
def metrics():
    return generate_latest(), 200, {"Content-Type": CONTENT_TYPE_LATEST}

第三步:AOM 采集 + CES 告警

采集器拉 /metrics,指标进 CES,然后在 CES 里配告警规则:order_fail_rate > 0.05 连续 2 个周期。

第四步:通知渠道

CES 支持 SMN(消息通知服务)推送,SMN 可以发邮件、短信、或者推到企业微信/钉钉的 webhook。

配好之后出问题能第一时间知道,不用等用户投诉。

大盘怎么配

「监控大盘」可以自定义布局,把关键指标放一屏。

一个实用的布局:

第一行:所有实例的 CPU / 内存(快速判断是不是资源问题)
第二行:QPS / 错误率 / 延迟 P99(业务健康度)
第三行:数据库连接数 / 慢查询数(依赖健康度)
第四行:带宽 / 磁盘(容量预警)

看大盘的顺序:先看资源,再看业务,最后看依赖。资源正常业务异常 → 代码问题;资源异常 → 扩容或优化。

踩过的坑

坑一:装 Agent 后数据要等几分钟

不是实时出。装完等 5-10 分钟才能在控制台看到内存曲线。

坑二:自定义指标报 400

最常见原因是 namespace 格式不对。必须是 SERVICE.XXX,不能直接写 MYAPP。

坑三:告警不触发

检查三件事:

  1. 指标是否真的有数据(在大盘里查一下)
  2. 阈值方向对不对(有些指标是「低于」触发)
  3. 告警规则是否绑定到具体资源

坑四:告警风暴

一个指标抖一下发几十条通知。解决办法:

  • 设「连续次数」,别用 1
  • 配「告警合并」,同一规则 5 分钟内只发一次
  • 分级:warning 只发邮件,critical 才发短信

坑五:Agent 占资源

Telescope Agent 本身占几十 MB 内存和一点 CPU。小规格实例(1C1G)上会明显。可以调采集间隔,从 1 分钟改 5 分钟。

成本

CES 的基础指标(CPU、网络)免费。自定义指标按上报数据点收费,价格很低(百万点几块钱)。

Agent 免费。

告警通知通过 SMN 发短信要钱(一条几分钱),邮件免费。

整体成本可以忽略,该开就开。

小结

监控的核心不是「装个工具」,而是「想清楚什么指标异常代表业务出问题」。

资源指标(CPU/内存/磁盘)只能告诉你「机器累不累」,业务指标(QPS/错误率/延迟)才告诉你「用户爽不爽」。后者更值得投入。

从零搭的话,优先级:核心链路错误率 > P99 延迟 > CPU/内存 > 磁盘 > 带宽。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。