开发者做好服务监控告警的五个实践

举报
yd_278762296 发表于 2026/11/15 06:14:09 2026/11/15
【摘要】 先定义 SLI 再配告警,分层采集黄金指标,用带持续时间的规则过滤抖动,配合分级通知与复盘,帮助开发者把监控告警从噪音变成可执行的行动信号。

一、先定 SLI,再配告警

多数团队的告警失效,是因为顺序反了:先拉指标再想阈值。正确做法是先明确服务等级指标(SLI)和目标(SLO),再由目标推导告警。在线服务盯住四类黄金指标即可:延迟、流量、错误率、饱和度。例如承诺 P99 延迟 300ms、错误率低于 0.1%,阈值就直接围绕这两个数字设置。

二、应用层指标自己埋

系统层指标交给节点监控,业务层指标由埋点上报,开发者最该补齐的是应用层指标。以 Go 服务接入 Prometheus 为例,声明一个按方法、路径和状态码分布的请求耗时直方图:

package main

import (
    "net/http"

    "github.com/prometheus/client_golang/prometheus"
    "github.com/prometheus/client_golang/prometheus/promauto"
    "github.com/prometheus/client_golang/prometheus/promhttp"
)

var httpDuration = promauto.NewHistogramVec(
    prometheus.HistogramOpts{
        Name:    "http_request_duration_seconds",
        Buckets: []float64{.05, .1, .5, 1, 3},
    },
    []string{"method", "path", "code"},
)

func main() {
    http.Handle("/metrics", promhttp.Handler())
    http.ListenAndServe(":9090", nil)
}

在业务中间件里调用 httpDuration.WithLabelValues(...) 记录每次请求,即可通过 /metrics 暴露分位数数据。

三、告警规则要能直接执行

合格的告警必须回答三个问题:出了什么事、影响多大、该找谁做什么。按严重程度分级通知(P0 电话、P1 即时消息、P2 邮件),并用持续时间过滤抖动:

groups:
  - name: service-core
    rules:
      - alert: HighErrorRate
        expr: |
          sum(rate(http_request_duration_seconds_count{code=~"5.."}[5m]))
            / sum(rate(http_request_duration_seconds_count[5m])) > 0.01
        for: 5m
        labels:
          severity: P1
        annotations:
          summary: "服务 5xx 错误率超过 1%"
          description: "已持续 5 分钟,请优先检查最近发布与下游依赖。"

其中 for: 5m 表示异常持续五分钟才触发,可滤掉发布瞬间的毛刺。

四、治理误报,防止告警疲劳

  • 阈值用过去一两周的历史数据回放验证,不要拍脑袋;
  • 一次故障只放行一条根因告警,其余通过依赖关系抑制;
  • 每周统计告警命中率,连续误报的规则直接下线;
  • 每条告警附处置入口:Runbook、最近发布记录、监控大盘。
  • 五、响应与复盘闭环

    收到告警先按 Runbook 止血(回滚、扩容、降级),再排查根因;每次严重故障复盘后,把排查经验固化成新规则或自动化预案,监控体系才能持续进化。

    可操作建议:今天就为一个核心接口补上错误率与 P99 延迟两项指标,并各写一条带 for 持续时间的告警规则。

    【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
    • 点赞
    • 收藏
    • 关注作者

    评论(0)

    0/1000
    抱歉,系统识别当前为高风险访问,暂不支持该操作

    全部回复

    上滑加载中

    设置昵称

    在此一键设置昵称,即可参与社区互动!

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

    *长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。