开发者做好服务监控告警的五个实践
【摘要】 先定义 SLI 再配告警,分层采集黄金指标,用带持续时间的规则过滤抖动,配合分级通知与复盘,帮助开发者把监控告警从噪音变成可执行的行动信号。
一、先定 SLI,再配告警
多数团队的告警失效,是因为顺序反了:先拉指标再想阈值。正确做法是先明确服务等级指标(SLI)和目标(SLO),再由目标推导告警。在线服务盯住四类黄金指标即可:延迟、流量、错误率、饱和度。例如承诺 P99 延迟 300ms、错误率低于 0.1%,阈值就直接围绕这两个数字设置。
二、应用层指标自己埋
系统层指标交给节点监控,业务层指标由埋点上报,开发者最该补齐的是应用层指标。以 Go 服务接入 Prometheus 为例,声明一个按方法、路径和状态码分布的请求耗时直方图:
package main
import (
"net/http"
"github.com/prometheus/client_golang/prometheus"
"github.com/prometheus/client_golang/prometheus/promauto"
"github.com/prometheus/client_golang/prometheus/promhttp"
)
var httpDuration = promauto.NewHistogramVec(
prometheus.HistogramOpts{
Name: "http_request_duration_seconds",
Buckets: []float64{.05, .1, .5, 1, 3},
},
[]string{"method", "path", "code"},
)
func main() {
http.Handle("/metrics", promhttp.Handler())
http.ListenAndServe(":9090", nil)
}
在业务中间件里调用 httpDuration.WithLabelValues(...) 记录每次请求,即可通过 /metrics 暴露分位数数据。
三、告警规则要能直接执行
合格的告警必须回答三个问题:出了什么事、影响多大、该找谁做什么。按严重程度分级通知(P0 电话、P1 即时消息、P2 邮件),并用持续时间过滤抖动:
groups:
- name: service-core
rules:
- alert: HighErrorRate
expr: |
sum(rate(http_request_duration_seconds_count{code=~"5.."}[5m]))
/ sum(rate(http_request_duration_seconds_count[5m])) > 0.01
for: 5m
labels:
severity: P1
annotations:
summary: "服务 5xx 错误率超过 1%"
description: "已持续 5 分钟,请优先检查最近发布与下游依赖。"
其中 for: 5m 表示异常持续五分钟才触发,可滤掉发布瞬间的毛刺。
四、治理误报,防止告警疲劳
五、响应与复盘闭环
收到告警先按 Runbook 止血(回滚、扩容、降级),再排查根因;每次严重故障复盘后,把排查经验固化成新规则或自动化预案,监控体系才能持续进化。
可操作建议:今天就为一个核心接口补上错误率与 P99 延迟两项指标,并各写一条带 for 持续时间的告警规则。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)