接口大面积超时,连接池被打满:一条“看着没问题”的 SQL 引发的血案
线上告警又响了:核心接口 P99 从 80ms 飙到 5 秒以上,部分请求直接超时。第一反应是流量涨了,但看 QPS——和平时一模一样。
这篇记录完整的排查过程。最终根因是一条肉眼看上去完全正确的 SQL,错在一个很多人都会忽略的细节上。
先说现象
-
接口不是全挂,是间歇性大面积变慢,P99 冲到 5 秒以上;
-
应用日志里刷出大量
HikariPool-1 - Connection is not available, request timed out after 30000ms; -
数据库 CPU 并不高,只有 20% 左右;
-
重启应用能恢复几分钟,然后再次恶化。
最后一条很关键:连接池耗尽,但数据库不忙。这说明连接不是被“重计算”占着,而是被“卡住不动”了——要么慢查询在等锁,要么事务迟迟不提交,要么网络层有问题。方向直接锁死在这三类。
第一步:先看监控,别急着重启
还是老规矩,先保留现场。登录应用机器,第一眼看连接池指标(HikariCP 通过 JMX 或 Actuator 都能拿到):
curl -s http://localhost:8080/actuator/metrics/hikaricp.connections.active curl -s http://localhost:8080/actuator/metrics/hikaricp.connections.pending
看到的数据很典型:
-
active连接数 = 池上限(比如 20/20),全部占满; -
pending等待线程数持续在几十个,只增不减。
连接全被占着、还有大量线程在排队等连接。这说明不是连接不够用,是每条连接被占用的时间太长了——正常一次查询几毫秒就还回去了,现在显然有东西让它卡住了。
第二步:jstack 抓栈,看线程卡在哪
抓线程栈,看那些等连接的线程到底在干什么:
jstack <pid> > stack1.txt sleep 3 jstack <pid> > stack2.txt
在栈里搜 getConnection,会看到大量线程长这样:
"http-nio-8080-exec-23" #123 ... java.lang.Thread.State: WAITING at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175) at com.zaxxer.hikari.pool.HikariPool.getConnection(HikariPool.java:196) at com.zaxxer.hikari.HikariDataSource.getConnection(HikariDataSource.java:128) at com.example.mapper.OrderMapper.selectByUserId(OrderMapper.java:35) at com.example.service.OrderService.listByUser(OrderService.java:61) ...
几十个线程都 WAITING 在 HikariPool.getConnection 上——它们在排队等一个空闲连接。这一步确认了:问题不在业务逻辑死循环,而在数据库侧,连接被前面的请求占着不释放。
再看那些已经拿到连接的线程在干什么,搜 SocketInputStream 或 read:
"http-nio-8080-exec-8" #108 ... java.lang.Thread.State: RUNNABLE at java.net.SocketInputStream.socketRead0(Native Method) at com.mysql.cj.protocol.a.NativeProtocol.read(NativeProtocol.java:1778) at com.mysql.cj.jdbc.ClientPreparedStatement.executeInternal(...) at com.example.mapper.OrderMapper.selectByUserId(OrderMapper.java:35)
拿到了连接的线程,正卡在从 MySQL 读响应的 socketRead 上,等数据库返回结果。所有线索指向同一个地方:数据库有查询跑得太慢。
第三步:去数据库看,谁在占着连接
登录数据库,直接看当前正在执行的查询:
SHOW FULL PROCESSLIST;
重点看 Time 和 State 两列。现场是这样的:
| Id | User | Time | State | Info |
|---|---|---|---|---|
| 8821 | app | 47 | Sending data | SELECT ... FROM t_order WHERE user_id = '10086' |
| 8822 | app | 46 | Sending data | SELECT ... FROM t_order WHERE user_id = '10087' |
| 8823 | app | 45 | Sending data | SELECT ... FROM t_order WHERE user_id = '10088' |
三条信息拼在一起,根因呼之欲出:
-
Time在几十秒量级——这些查询已经跑了快一分钟; -
State是Sending data——MySQL 正在扫描数据并发送结果,典型的全表扫描特征; -
同一条 SQL 模板,只是参数不同——
WHERE user_id = '...'。
慢查询把连接一条条占死,后面的请求只能排队,连接池很快见底。
第四步:EXPLAIN 一下,问题出在“隐式类型转换”
把 SQL 捞出来,看表结构和索引。t_order 表上有:
CREATE TABLE t_order ( id BIGINT PRIMARY KEY, user_id BIGINT NOT NULL, ... KEY idx_user_id (user_id) );
user_id 上明明有索引 idx_user_id。那为什么还全表扫描?跑一下 EXPLAIN:
EXPLAIN SELECT * FROM t_order WHERE user_id = '10086';
结果:
| type | key | rows | Extra |
|---|---|---|---|
| ALL | NULL | 1200000 | Using where |
type=ALL,key=NULL——索引根本没被用上,扫了 120 万行。
再看一眼 SQL 本身,问题就出来了:
-- 字段是 BIGINT,参数却是字符串 WHERE user_id = '10086'
字段类型是 BIGINT,传进来的参数是字符串 '10086'。 MySQL 在比较时会做隐式类型转换:把字符串转成数字再比较。问题在于——当字段被函数或类型转换包裹时,索引就失效了。MySQL 的规则是:字符串列与数字比较时,会把字符串列转成数字(索引失效);数字列与字符串比较时,会把字符串转成数字(理论上索引可用),但实际执行计划中,优化器在字段侧做了类型转换后同样无法走索引,最终退化为全表扫描。
这里还有一个更隐蔽的点:这条 SQL 在代码里看起来完全正常。MyBatis 的 Mapper 是这样写的:
<select id="selectByUserId" resultType="Order"> SELECT * FROM t_order WHERE user_id = #{userId} </select>
#{userId} 是预编译参数,本身没问题。问题出在调用方传进来的参数类型——上游接口拿到的是 String,直接透传进了 Mapper:
// Controller 层:userId 从请求参数拿,是 String @GetMapping("/orders") public List<Order> list(@RequestParam String userId) { return orderService.listByUser(userId); // String 一路透传 }
// Service 层 public List<Order> listByUser(String userId) { return orderMapper.selectByUserId(userId); // 还是 String }
// Mapper 接口 List<Order> selectByUserId(String userId); // 参数类型是 String
从 Controller 到 Mapper,userId 全程是 String,一路没有任何人做类型转换。 MyBatis 把 String 绑定到 BIGINT 字段上时,MySQL 就执行了隐式转换,索引随之失效。代码看着没问题,类型检查也过不了编译器(MyBatis 的参数类型是运行时绑定的),但性能就这么没了。
第五步:修复
最小改动、根治问题的做法,是在进入数据库之前把类型对齐:
// Mapper 接口:参数类型改成 Long List<Order> selectByUserId(@Param("userId") Long userId);
// Service 层:显式转换,非法值提前拦截 public List<Order> listByUser(String userId) { Long id; try { id = Long.parseLong(userId); } catch (NumberFormatException e) { throw new IllegalArgumentException("userId 格式非法: " + userId); } return orderMapper.selectByUserId(id); }
改完再跑一次 EXPLAIN:
| type | key | rows |
|---|---|---|
| ref | idx_user_id | 12 |
type=ref,走了 idx_user_id,扫描行数从 120 万降到 12 行。接口 P99 回到 80ms 以内,连接池活跃数回落到个位数。
如果出于兼容性暂时不能改接口签名,兜底方案是在 SQL 里显式转换参数,保证参数以数字形式参与比较:
WHERE user_id = CAST(#{userId} AS UNSIGNED)
但这只是止血,根本还是要让 Java 侧的类型和数据库字段类型对齐。
复盘:几个值得记住的点
1. 连接池打满,先看数据库忙不忙。 如果数据库 CPU 不高但连接全满,基本可以断定是慢查询或长事务在占着连接。这时候查应用代码是白费力气,直接去数据库看 PROCESSLIST。
2. SHOW FULL PROCESSLIST 的 Time 和 State 是金矿。 Time 很大 + State 是 Sending data,几乎就是全表扫描的固定画像。同一条 SQL 模板反复出现且参数不同,说明是某类查询出了问题,不是偶发。
3. “字段有索引”不等于“查询会走索引”。 索引失效的经典原因有一长串:隐式类型转换、字段上套函数(DATE(create_time))、LIKE '%xxx' 前缀通配、OR 连接了无索引字段、联合索引不满足最左前缀。每一条 SQL 上线前都值得 EXPLAIN 一遍。
4. 隐式类型转换是最阴的坑。 它不报错、不告警、单元测试全绿,只在数据量涨上来之后才以“接口变慢”的形式暴露。Java 侧的类型和数据库字段类型不一致时,宁可多写一行转换,也不要依赖 MySQL 帮你转。
5. 慢查询不是“数据库的问题”,往往是应用层传参的问题。 这条 SQL 单独拿出来看没毛病,问题出在调用链上游把 String 一路透传下来。排查慢查询时,顺着调用链往上找参数类型,比盯着 SQL 本身看有效得多。
附:常用排查命令速查
-- 1. 看当前正在执行的查询(关键看 Time 和 State) SHOW FULL PROCESSLIST; -- 2. 查看执行计划,确认是否走索引 EXPLAIN SELECT * FROM t_order WHERE user_id = 10086; -- 3. 开启慢查询日志(临时) SET GLOBAL slow_query_log = 'ON'; SET GLOBAL long_query_time = 1; -- 4. 查看索引使用情况 SHOW INDEX FROM t_order;
# 5. 应用侧看连接池状态(Actuator) curl -s http://localhost:8080/actuator/metrics/hikaricp.connections.active curl -s http://localhost:8080/actuator/metrics/hikaricp.connections.pending # 6. 抓线程栈,定位卡在 getConnection 还是 socketRead jstack <pid> > stack.txt grep -A 10 "getConnection" stack.txt | head -50
一句话收尾:连接池打满,别在应用层瞎找。 先去数据库看 PROCESSLIST,找到那条跑了很久的 SQL,EXPLAIN 看它有没有走索引,再顺着参数类型往上查——大多数“接口突然变慢”,根因都不在接口本身。
- 点赞
- 收藏
- 关注作者
评论(0)