PgBouncer 治理 PostgreSQL 连接风暴:从 800 连接压到 120
一、现象:连接数打满之后发生了什么
上周三下午,业务侧开始零星报「获取数据库连接超时」。监控上 PostgreSQL 的 connections 一路冲到 812,接近 max_connections=900 的上限,而 CPU 只用了 25%。也就是说,数据库不是算不动,而是再也挤不出一个空连接给新请求。
更麻烦的是雪崩链条:应用侧连接池等待超时 → 请求堆积 → 线程池被打满 → 健康检查失败 → 网关把实例摘掉 → 流量压到剩下的实例 → 剩下实例的连接数也打满。整个过程不到四分钟,从「有点慢」变成「整片 502」。
二、先量清楚连接被谁占着
扩容或加中间件之前,一定要先把连接归属查清楚,否则只是把上限抬高一点、把事故往后推。核心是区分三类连接:正在干活的、空闲等着的、以及被长事务挂住的。
SELECT state, count(*), max(now() - state_change) AS longest
FROM pg_stat_activity
WHERE backend_type = 'client backend'
GROUP BY state ORDER BY 2 DESC;
-- 按应用账号看谁占得最多
SELECT usename, application_name, count(*)
FROM pg_stat_activity GROUP BY 1,2 ORDER BY 3 DESC LIMIT 10;
实测结果很说明问题:812 个连接里 690 个是 idle,只有 46 个是 active。也就是说,绝大多数连接只是「占着位子不干活」。原因是每个 Pod 配了 20 个连接的池,40 个 Pod 就是 800,而真正并发的活跃查询峰值只有 50 左右。这是典型的「按实例数线性放大连接数」的架构问题。
三、池模式怎么选:transaction 才是这里的答案
PgBouncer 有三种池模式。session 模式一条客户端连接独占一条服务端连接,几乎不解决问题;statement 模式连显式事务都不支持,业务基本用不了;transaction 模式在事务结束时就把服务端连接还回池子,最适合「短事务多、连接数被 Pod 数放大」的场景。
transaction 模式的硬性约束必须提前确认:不能用会话级状态。具体包括 prepared statement(除非开协议级支持)、SET 会话变量、LISTEN/NOTIFY、会话级 advisory lock、以及临时表。我们逐项排查后发现只有两处用了 SET,改成每次连接初始化后显式设置,问题就解决了。
四、参数落地:一份可以直接复用的配置
[databases]
app = host=10.0.1.21 port=5432 dbname=app
[pgbouncer]
pool_mode = transaction
max_client_conn = 4000
default_pool_size = 25
reserve_pool_size = 10
reserve_pool_timeout = 3
max_db_connections = 150
server_idle_timeout = 60
server_lifetime = 3600
query_wait_timeout = 8
几个参数的取舍:default_pool_size 不是越大越好,它要和数据库的 CPU 核数、磁盘 IO 能力匹配,25 在 16 核上已经偏激进;query_wait_timeout 设 8 秒,是为了让「池满」尽快暴露成明确的错误,而不是让请求在队列里静静耗死;max_db_connections 是最硬的护栏,它保证无论如何都不会把数据库打死。
五、灰度与验证:怎么确认真的降下来了
不要一次性把流量全切过去。先按 10% 的 Pod 走 PgBouncer,观察三组指标:数据库侧的 connections 曲线是否变得平缓、应用侧的 P99 是否上升、以及 PgBouncer 自身的 cl_waiting 是否长期大于零。cl_waiting 持续为正说明池子偏小,需要加 default_pool_size 而不是加 Pod。
我们最终把数据库连接从 812 压到 118,应用 P99 从 340ms 降到 210ms(少了几百个连接之间的锁与上下文切换),故障彻底消失。回头看,真正解决问题的不是引入了 PgBouncer,而是「先量化连接归属,再针对原因下手」这个顺序。
- 点赞
- 收藏
- 关注作者
评论(0)