GaussDB慢查询:我先扩容后找根因

举报
yd_292017662 发表于 2026/11/09 13:00:25 2026/11/09
【摘要】 周一早高峰订单查询抖到3秒以上,我第一反应是给GaussDB扩容,结果多花了4小时费用问题还在。后面我用pg_stat_statements、锁等待日志和DAS把证据补齐,确认是SQL写法改坏索引命中,再叠加批任务长事务锁表。记录里有具体命令、参数、耗时和回滚细节。

故障出现时的现场和我做错的扩容

周一 09:42,值班群先响的是订单查询 /api/v1/orders/list 的超时告警。应用跑在华为云 CCE,镜像 v2.19.7,Java 17、Spring Boot 3.2.5、HikariCP 5.1.0。集群 3 个 worker,每个 8vCPU 32GB,order-api 6 个副本,Pod limit 1vCPU/2Gi。数据库是 GaussDB(for PostgreSQL) 14.8,单主单备,4vCPU 16GB,ESSD 300GB。平时这个接口 p95 在 180ms 左右,09:44 我看到 p95 到 2.7s,p99 打到 4.1s,5xx 在 3 分钟里从 0 到 126。

应用日志刷得很密,2 到 3 秒一条,关键报错是 JDBC 层抛出来的 57014:

org.postgresql.util.PSQLException: ERROR: canceling statement due to statement timeout
SQLState: 57014
Detail: Query exceeded statement_timeout(3000ms)
	at org.postgresql.core.v3.QueryExecutorImpl.receiveErrorResponse(QueryExecutorImpl.java:2712)
	at org.postgresql.core.v3.QueryExecutorImpl.processResults(QueryExecutorImpl.java:2400)

我当时盯 CES 监控走偏了。数据库 CPU 46%、内存 68%、磁盘带宽 41MB/s、IOPS 1700,连接数 92/300,看着都不红;应用线程池 active 从 64 到 96,也没触发拒绝策略。我误以为是突发流量导致的资源紧张,结果根因根本不在规格上。

这次事故是我自己误判造成的。

09:55 我直接把 GaussDB 从 4c16g 升到 8c32g,工单号 dbs-20261104-095503,10:06 完成,耗时 11 分钟。账单单价从 3.9 元/小时变成 8.2 元/小时,差价 4.3 元/小时。我那会儿的盘算是先扛 2 小时,最多多花 8 到 9 块,止血再慢慢查。现在回头看,这个决策一点证据都没有。

扩容后数据几乎没动。10:12 到 10:18 这 6 分钟,p95 还在 2.1s 到 2.4s 之间抖,57014 频率也没降。我又做了一次失败尝试,10:14 把应用超时放宽,想先把错误率压下去,命令是:

kubectl -n order set env deploy/order-api APP_QUERY_TIMEOUT_MS=5000
kubectl -n order set env deploy/order-api SPRING_DATASOURCE_HIKARI_CONNECTIONTIMEOUT=3000
kubectl -n order rollout status deploy/order-api --timeout=180s

我改这个的理由很直白,SQL 既然经常卡在 3s,就临时放到 5s 给它跑完,连接获取也从 1500ms 拉到 3000ms,减少短时间抖动。结果反着来,10:16 之后应用开始出现另一种错误:

com.zaxxer.hikari.pool.HikariPool$PoolEntryCreator.call(HikariPool.java:740)
java.sql.SQLTransientConnectionException: HikariPool-1 - Connection is not available, request timed out after 3000ms.
	at com.zaxxer.hikari.pool.HikariPool.createTimeoutException(HikariPool.java:696)

慢请求活得更久,Tomcat 工作线程占满更快,接口 RT 比扩容前还多了大约 300ms,p99 一度到 4.4s。我 10:22 立刻回滚参数:

kubectl -n order set env deploy/order-api APP_QUERY_TIMEOUT_MS=3000
kubectl -n order set env deploy/order-api SPRING_DATASOURCE_HIKARI_CONNECTIONTIMEOUT=1500

我当时是真的心虚。

取证、修复和还没收尾的点

10:23 我停止猜测,改成完整取证。DAS 的 SQL 洞察时间窗口设成 10:00 到 10:30,按总耗时排序,前两条 SQL 占 71%,其中一条调用 1243 次、总耗时 1387s。库里我把慢日志和锁等待日志都开了,阈值 300ms,采样 40 分钟:

ALTER SYSTEM SET log_min_duration_statement = '300ms';
ALTER SYSTEM SET log_lock_waits = on;
ALTER SYSTEM SET deadlock_timeout = '200ms';
SELECT pg_reload_conf();

10:29 我还做过一次没用的试探,执行了 ANALYZE orders;,耗时 53 秒。我当时以为统计信息过期导致优化器选错计划,结果 EXPLAIN 还是 Seq Scan,说明问题不在统计信息,而在 SQL 写法本身把索引能力废掉了。

10:37 我抓到一个事务年龄 27 分钟的会话,pid=75204,application_name=batch-reconcile。这个任务每次 update 500 行才 commit,一次事务持锁太久。锁链里 waiting_pid=74831 连续等待 1.214s 到 2.008s,wait_event_type=Lock。慢日志也对上了:

LOG: process 74831 still waiting for ShareLock on transaction 11923122 after 200.102 ms
DETAIL: Process holding the lock: 75204. Wait queue: 74831.
STATEMENT: SELECT id, amount FROM orders WHERE tenant_id = 1024 ORDER BY created_at DESC LIMIT 50;

另一条根因来自前一晚发版。我们把时间筛选改成了数据库侧时区转换再取 date,原本的范围查询被换掉了,(tenant_id, created_at DESC) 索引直接失效。问题 SQL 和计划我贴在这里,Rows Removed by Filter 每次都在 180 万以上:

WHERE (created_at AT TIME ZONE 'Asia/Shanghai')::date = $1
  AND tenant_id = $2
ORDER BY created_at DESC
LIMIT 50;

Limit  (actual time=1823.611..1823.634 rows=50 loops=1)
  ->  Sort  (actual time=1823.609..1823.616 rows=50 loops=1)
        Sort Key: created_at DESC
        ->  Seq Scan on orders  (actual time=0.031..1742.882 rows=1264 loops=1)
              Filter: (((created_at AT TIME ZONE 'Asia/Shanghai'::text))::date = '2026-11-04'::date AND (tenant_id = 1024))
              Rows Removed by Filter: 1832741
Planning Time: 1.912 ms
Execution Time: 1823.701 ms

10:45 开始改代码和库参数,我做的是三处硬改,不靠重启。查询改回范围写法,入参从一个 date 变成 start_ts/end_ts;Java 里把 LocalDate 改成 OffsetDateTime,在应用层算好东八区边界,数据库只比大小不做函数转换。原来 controller 传的是 2026-11-04,现在传 2026-11-03T16:00:00Z 到 2026-11-04T16:00:00Z。批任务把 500 行一提交改成 50 行一提交,同时加锁等待上限和退避重试,3 次间隔 120ms、240ms、480ms,拿不到锁就放弃这批,避免长事务拖住在线查询。

WHERE created_at >= $1
  AND created_at < $2
  AND tenant_id = $3
ORDER BY created_at DESC
LIMIT 50;

CREATE INDEX CONCURRENTLY idx_orders_tenant_status_ctime
ON orders (tenant_id, status, created_at DESC)
WHERE deleted_at IS NULL;

ALTER ROLE app_user SET lock_timeout = '800ms';
ALTER ROLE app_user SET statement_timeout = '3000ms';
ALTER ROLE app_user SET idle_in_transaction_session_timeout = '60s';

索引创建用了 17 分 42 秒。我每 10 秒看一次 pg_stat_progress_create_index,phase 从 building index 走到 waiting for old snapshots 时卡了 2 分多钟。期间 IOPS 峰值 5200,CPU 到 62%,业务 RT 没继续恶化。11:03 慢日志里 1s 以上语句从每分钟 140 条降到 9 条,11:09 接口 p95 回到 210ms,p99 在 480ms 到 620ms。我手动杀了两个残留会话,都是批任务留下来的长连接:

SELECT pg_terminate_backend(74831);
SELECT pg_terminate_backend(75204);

规格回退没法立刻做,GaussDB 同实例连续变更有冷却窗口,我等到 14:19 才把 8c32g 降回 4c16g。误扩容持续 4 小时 24 分,按账单明细多花 18.9 元。现在还有两件事没收完。orders 表 dead tuples 还在 16% 到 19% 波动,我在预发开了两周观察,把 autovacuum_vacuum_scale_factor 从 0.2 调到 0.05,autovacuum_naptime 从 1min 改成 20s;批任务准备拆到独立队列,连接池总上限现在 120,峰值 108,我打算把批任务单独限到 15 条连接再看一周。orders 按月分区这件事我还没拍板,等双十一压测写入曲线出来再定。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。