GaussDB慢查询:我先扩容后找根因
故障出现时的现场和我做错的扩容
周一 09:42,值班群先响的是订单查询 /api/v1/orders/list 的超时告警。应用跑在华为云 CCE,镜像 v2.19.7,Java 17、Spring Boot 3.2.5、HikariCP 5.1.0。集群 3 个 worker,每个 8vCPU 32GB,order-api 6 个副本,Pod limit 1vCPU/2Gi。数据库是 GaussDB(for PostgreSQL) 14.8,单主单备,4vCPU 16GB,ESSD 300GB。平时这个接口 p95 在 180ms 左右,09:44 我看到 p95 到 2.7s,p99 打到 4.1s,5xx 在 3 分钟里从 0 到 126。
应用日志刷得很密,2 到 3 秒一条,关键报错是 JDBC 层抛出来的 57014:
org.postgresql.util.PSQLException: ERROR: canceling statement due to statement timeout
SQLState: 57014
Detail: Query exceeded statement_timeout(3000ms)
at org.postgresql.core.v3.QueryExecutorImpl.receiveErrorResponse(QueryExecutorImpl.java:2712)
at org.postgresql.core.v3.QueryExecutorImpl.processResults(QueryExecutorImpl.java:2400)
我当时盯 CES 监控走偏了。数据库 CPU 46%、内存 68%、磁盘带宽 41MB/s、IOPS 1700,连接数 92/300,看着都不红;应用线程池 active 从 64 到 96,也没触发拒绝策略。我误以为是突发流量导致的资源紧张,结果根因根本不在规格上。
这次事故是我自己误判造成的。
09:55 我直接把 GaussDB 从 4c16g 升到 8c32g,工单号 dbs-20261104-095503,10:06 完成,耗时 11 分钟。账单单价从 3.9 元/小时变成 8.2 元/小时,差价 4.3 元/小时。我那会儿的盘算是先扛 2 小时,最多多花 8 到 9 块,止血再慢慢查。现在回头看,这个决策一点证据都没有。
扩容后数据几乎没动。10:12 到 10:18 这 6 分钟,p95 还在 2.1s 到 2.4s 之间抖,57014 频率也没降。我又做了一次失败尝试,10:14 把应用超时放宽,想先把错误率压下去,命令是:
kubectl -n order set env deploy/order-api APP_QUERY_TIMEOUT_MS=5000
kubectl -n order set env deploy/order-api SPRING_DATASOURCE_HIKARI_CONNECTIONTIMEOUT=3000
kubectl -n order rollout status deploy/order-api --timeout=180s
我改这个的理由很直白,SQL 既然经常卡在 3s,就临时放到 5s 给它跑完,连接获取也从 1500ms 拉到 3000ms,减少短时间抖动。结果反着来,10:16 之后应用开始出现另一种错误:
com.zaxxer.hikari.pool.HikariPool$PoolEntryCreator.call(HikariPool.java:740)
java.sql.SQLTransientConnectionException: HikariPool-1 - Connection is not available, request timed out after 3000ms.
at com.zaxxer.hikari.pool.HikariPool.createTimeoutException(HikariPool.java:696)
慢请求活得更久,Tomcat 工作线程占满更快,接口 RT 比扩容前还多了大约 300ms,p99 一度到 4.4s。我 10:22 立刻回滚参数:
kubectl -n order set env deploy/order-api APP_QUERY_TIMEOUT_MS=3000
kubectl -n order set env deploy/order-api SPRING_DATASOURCE_HIKARI_CONNECTIONTIMEOUT=1500
我当时是真的心虚。
取证、修复和还没收尾的点
10:23 我停止猜测,改成完整取证。DAS 的 SQL 洞察时间窗口设成 10:00 到 10:30,按总耗时排序,前两条 SQL 占 71%,其中一条调用 1243 次、总耗时 1387s。库里我把慢日志和锁等待日志都开了,阈值 300ms,采样 40 分钟:
ALTER SYSTEM SET log_min_duration_statement = '300ms';
ALTER SYSTEM SET log_lock_waits = on;
ALTER SYSTEM SET deadlock_timeout = '200ms';
SELECT pg_reload_conf();
10:29 我还做过一次没用的试探,执行了 ANALYZE orders;,耗时 53 秒。我当时以为统计信息过期导致优化器选错计划,结果 EXPLAIN 还是 Seq Scan,说明问题不在统计信息,而在 SQL 写法本身把索引能力废掉了。
10:37 我抓到一个事务年龄 27 分钟的会话,pid=75204,application_name=batch-reconcile。这个任务每次 update 500 行才 commit,一次事务持锁太久。锁链里 waiting_pid=74831 连续等待 1.214s 到 2.008s,wait_event_type=Lock。慢日志也对上了:
LOG: process 74831 still waiting for ShareLock on transaction 11923122 after 200.102 ms
DETAIL: Process holding the lock: 75204. Wait queue: 74831.
STATEMENT: SELECT id, amount FROM orders WHERE tenant_id = 1024 ORDER BY created_at DESC LIMIT 50;
另一条根因来自前一晚发版。我们把时间筛选改成了数据库侧时区转换再取 date,原本的范围查询被换掉了,(tenant_id, created_at DESC) 索引直接失效。问题 SQL 和计划我贴在这里,Rows Removed by Filter 每次都在 180 万以上:
WHERE (created_at AT TIME ZONE 'Asia/Shanghai')::date = $1
AND tenant_id = $2
ORDER BY created_at DESC
LIMIT 50;
Limit (actual time=1823.611..1823.634 rows=50 loops=1)
-> Sort (actual time=1823.609..1823.616 rows=50 loops=1)
Sort Key: created_at DESC
-> Seq Scan on orders (actual time=0.031..1742.882 rows=1264 loops=1)
Filter: (((created_at AT TIME ZONE 'Asia/Shanghai'::text))::date = '2026-11-04'::date AND (tenant_id = 1024))
Rows Removed by Filter: 1832741
Planning Time: 1.912 ms
Execution Time: 1823.701 ms
10:45 开始改代码和库参数,我做的是三处硬改,不靠重启。查询改回范围写法,入参从一个 date 变成 start_ts/end_ts;Java 里把 LocalDate 改成 OffsetDateTime,在应用层算好东八区边界,数据库只比大小不做函数转换。原来 controller 传的是 2026-11-04,现在传 2026-11-03T16:00:00Z 到 2026-11-04T16:00:00Z。批任务把 500 行一提交改成 50 行一提交,同时加锁等待上限和退避重试,3 次间隔 120ms、240ms、480ms,拿不到锁就放弃这批,避免长事务拖住在线查询。
WHERE created_at >= $1
AND created_at < $2
AND tenant_id = $3
ORDER BY created_at DESC
LIMIT 50;
CREATE INDEX CONCURRENTLY idx_orders_tenant_status_ctime
ON orders (tenant_id, status, created_at DESC)
WHERE deleted_at IS NULL;
ALTER ROLE app_user SET lock_timeout = '800ms';
ALTER ROLE app_user SET statement_timeout = '3000ms';
ALTER ROLE app_user SET idle_in_transaction_session_timeout = '60s';
索引创建用了 17 分 42 秒。我每 10 秒看一次 pg_stat_progress_create_index,phase 从 building index 走到 waiting for old snapshots 时卡了 2 分多钟。期间 IOPS 峰值 5200,CPU 到 62%,业务 RT 没继续恶化。11:03 慢日志里 1s 以上语句从每分钟 140 条降到 9 条,11:09 接口 p95 回到 210ms,p99 在 480ms 到 620ms。我手动杀了两个残留会话,都是批任务留下来的长连接:
SELECT pg_terminate_backend(74831);
SELECT pg_terminate_backend(75204);
规格回退没法立刻做,GaussDB 同实例连续变更有冷却窗口,我等到 14:19 才把 8c32g 降回 4c16g。误扩容持续 4 小时 24 分,按账单明细多花 18.9 元。现在还有两件事没收完。orders 表 dead tuples 还在 16% 到 19% 波动,我在预发开了两周观察,把 autovacuum_vacuum_scale_factor 从 0.2 调到 0.05,autovacuum_naptime 从 1min 改成 20s;批任务准备拆到独立队列,连接池总上限现在 120,峰值 108,我打算把批任务单独限到 15 条连接再看一周。orders 按月分区这件事我还没拍板,等双十一压测写入曲线出来再定。
- 点赞
- 收藏
- 关注作者
评论(0)