postgres_exporter + Grafana 监控大盘
PostgreSQL 监控落地实战:postgres_exporter + Grafana 大盘与告警体系
摘要:前几篇积累的巡检 SQL——死元组比例、表年龄、归档状态、慢查询榜——每次靠人工登录执行,巡检就形同虚设。本文把这些检查点全部指标化:用 postgres_exporter 采集基础指标,用自定义 queries 挂载系列巡检 SQL,用 Prometheus 规则承接告警,最终在 Grafana 里拼出一张“数据库驾驶舱”大盘。与容器监控体系共用同一套 Prometheus + Grafana,适用于 PostgreSQL 14+ 与 TimescaleDB 2.x 环境。
一、设计目标:把巡检清单变成曲线
数据库监控要回答四个层次的问题,每一层对应系列里的一篇:
| 层次 | 核心问题 | 对应知识 |
|---|---|---|
| 1. 可用性 | 库活着吗、连接堆了吗 | pg_stat_activity |
| 2. 性能 | 慢查询占比、缓存命中率 | 系列第一篇慢查询 |
| 3. 健康 | 死元组、表年龄、膨胀 | 系列第四篇 autovacuum |
| 4. 安全 | 归档成功率、复制延迟 | 系列第五篇备份 |
| 监控体系的价值不在图表数量,而在“出事前哪条曲线先动”——死元组比例连续一周爬升,就是表要膨胀的前兆;xid_age 逼近阈值,就是回卷倒计时。人工巡检记不住趋势,曲线才记得住。 |
二、postgres_exporter 部署与连接
接容器监控篇的 docker-compose 体系,数据库采集器作为新服务加入:
postgres-exporter:
image: prometheuscommunity/postgres-exporter:latest
restart: always
environment:
DATA_SOURCE_NAME: "postgresql://exporter:密码@timescaledb:5432/mydb?sslmode=disable"
ports:
- "9187:9187"
networks: [monitor]
两个前置动作:
一是专用监控账号,别用超级用户连——权限最小化是系列第六篇(容器安全)的老原则:
CREATE ROLE exporter WITH LOGIN PASSWORD 'xxx';
GRANT pg_monitor TO exporter;
pg_monitor 是 PG 10+ 内置的角色,覆盖全部统计视图的只读权限,够 exporter 用且不越界。
二是 exporter 挂进与 timescaledb 同一个自定义网络——容器网络篇讲过,服务名解析的前提是同网,跨网会导致 getaddrinfo failed。
Prometheus 加抓取任务:
- job_name: 'postgres-exporter'
static_configs:
- targets: ['postgres-exporter:9187']
Targets 页确认 UP 后,先跑一条验证查询:
pg_up
值为 1 即链路通。
三、自定义 queries:把巡检 SQL 挂上去
postgres_exporter 默认指标覆盖连接数、事务速率、缓存命中等通用项,但死元组、表年龄这些系列重点巡检项默认不带,要用自定义 queries 文件扩展:
# queries.yaml
pg_dead_tuple_ratio:
query: |
SELECT current_database() AS db, relname AS table,
n_dead_tup, n_live_tup,
round(100.0*n_dead_tup/NULLIF(n_live_tup+n_dead_tup,0),1) AS dead_pct
FROM pg_stat_user_tables
WHERE n_live_tup > 10000
metrics:
- db: {usage: "LABEL"}
- table: {usage: "LABEL"}
- n_dead_tup: {usage: "GAUGE"}
- n_live_tup: {usage: "GAUGE"}
- dead_pct: {usage: "GAUGE"}
pg_table_age:
query: |
SELECT c.oid::regclass AS table,
age(c.relfrozenxid) AS xid_age
FROM pg_class c
WHERE relkind IN ('r','m')
AND c.relfrozenxid <> '0'::xid
metrics:
- table: {usage: "LABEL"}
- xid_age: {usage: "GAUGE"}
pg_archive_status:
query: |
SELECT failed_count,
extract(epoch from now()-last_archived_time) AS archived_lag_seconds
FROM pg_stat_archiver
metrics:
- failed_count: {usage: "GAUGE"}
- archived_lag_seconds: {usage: "GAUGE"}
compose 里挂载并指定:
volumes:
- ./queries.yaml:/queries.yaml:ro
environment:
PG_EXPORTER_EXTEND_QUERY_PATH: /queries.yaml
三条 queries 分别是系列第四篇、第五篇巡检清单的直接转译——死元组比例对应膨胀预警,表年龄对应回卷防御,归档状态对应备份链路健康。自定义 queries 的本质就是:任何你能写成 SQL 的巡检项,都能变成监控曲线。
注意采集频率与负载的平衡:pg_stat_user_tables 类查询扫的是统计视图,代价很小;但别把 pgstatindex 这类要实际读文件的诊断 SQL 挂上去——那是季度巡检的工具,不是分钟级采集的工具。
四、Grafana 大盘:四个核心面板
Grafana 添加 Prometheus 数据源后建大盘,四个面板覆盖驾驶舱视野:
面板一:连接水位(单值 + 仪表盘)
sum(pg_stat_activity_count{state="active"})
/ pg_settings_max_connections
活跃连接占总连接上限的比例,超 80% 要查连接池(pgbouncer 篇的前置信号)。
面板二:慢查询耗时趋势(时序图)
rate(pg_stat_statements_total_time_seconds[5m])
没开 pg_stat_statements 的话,先用系列第一篇的方法启用。这条曲线的斜率比绝对值更重要——发布新版本后耗时曲线突然抬升,就是 SQL 退化的第一现场。
面板三:缓存命中率(时序图)
sum(rate(pg_stat_database_blks_hit[5m]))
/ (sum(rate(pg_stat_database_blks_hit[5m])) + sum(rate(pg_stat_database_blks_read[5m])))
命中率长期低于 99%,说明工作集超过了 effective_cache_size 的假设——要么加内存,要么查是不是有全表扫描在冲刷缓存(回系列第一篇看 BUFFERS)。
面板四:死元组与年龄(时序图,双轴)
# 死元组比例 Top 表
max by (table) (pg_dead_tuple_ratio_dead_pct)
# 最大表年龄
max(pg_table_age_xid_age)
这两条是第四篇 autovacuum 治理的可视化版:死元组该是锯齿形(涨到阈值被 VACUUM 打下来),如果变成只涨不降的楼梯形,就是 autovacuum 追不上了;年龄曲线斜率异常陡,去查长事务。
现成大盘可以直接导入起步:Grafana 社区搜 PostgreSQL Database 的 dashboard(如 ID 9628),导入后替换数据源,再在其基础上加自定义面板。
五、告警规则:五条数据库保命线
groups:
- name: postgres-alerts
rules:
# 库不可达
- alert: PostgresDown
expr: pg_up == 0
for: 1m
labels: {severity: critical}
# 连接逼近上限
- alert: PostgresConnNearlyFull
expr: sum(pg_stat_activity_count) / pg_settings_max_connections > 0.85
for: 5m
labels: {severity: warning}
# 归档失败(备份链路断裂)
- alert: PostgresArchiveFailed
expr: pg_archive_status_failed_count > 0
for: 5m
labels: {severity: critical}
# 表年龄进入回卷警戒区(系列第四篇的防线前移)
- alert: PostgresXidAgeHigh
expr: max(pg_table_age_xid_age) > 500000000
for: 10m
labels: {severity: critical}
# 死元组比例失控(膨胀前兆)
- alert: PostgresDeadTuplesHigh
expr: max by (table) (pg_dead_tuple_ratio_dead_pct) > 30
for: 30m
labels: {severity: warning}
告警分级沿用容器监控篇的原则:critical 叫人、warning 进群。XidAgeHigh 那条的阈值 5 亿对应第四篇巡检表的健康线——到这条告警触发时,距离 20 亿的强制冻结防线还有充足处理窗口,但必须当天处置。
六、落地验证清单
| 验证项 | 方法 | 通过标准 |
|---|---|---|
| 采集链路 | Prometheus Targets | postgres-exporter 为 UP |
| 自定义指标 | Grafana 查 pg_dead_tuple_ratio_dead_pct |
返回带 table 标签的数据 |
| 大盘出图 | 四个面板 | 缓存命中率、连接数有实时曲线 |
| 告警链路 | 停掉归档目录写入或临时降阈值 | 按预期收到通知 |
| 权限最小化 | \du exporter |
只有 pg_monitor 角色 |
| 大盘留存 | Grafana 数据源保留策略 | 曲线至少保留 30 天 |
| 验证告警时用降阈值的方式触发(比如把 XidAge 阈值临时改成当前值以下),比制造真实故障安全得多。 |
七、总结
数据库监控体系的建设路径:
| 步骤 | 动作 | 关键点 |
|---|---|---|
| 1. 采集 | postgres_exporter + pg_monitor 账号 | 权限最小化,同网络部署 |
| 2. 扩展 | queries.yaml 挂巡检 SQL | 任何 SQL 都能指标化 |
| 3. 展示 | 四面板驾驶舱 | 连接、慢查询、缓存、死元组/年龄 |
| 4. 告警 | 五条保命线规则 | 分级 + for 防抖 |
| 5. 验证 | 降阈值演练 | 没验证的告警不算告警 |
| 核心认知一句话:监控是巡检的自动化,而巡检是知识的清单化——这套体系的真正成本不在部署(半天搞定),而在于你得先知道该看什么:死元组为什么要盯、年龄为什么是 5 亿、归档失败为什么是 critical。这些判断全部来自前面的系列,监控只是把它们从“每次登录手敲”变成“7×24 小时盯着 + 出事主动叫你”。 |
- 点赞
- 收藏
- 关注作者
评论(0)