接口大面积超时,连接池被打满:一条“看着没问题”的 SQL 引发的血案

举报
yd_285766025 发表于 2026/11/18 15:47:35 2026/11/18
【摘要】 线上告警又响了:核心接口 P99 从 80ms 飙到 5 秒以上,部分请求直接超时。第一反应是流量涨了,但看 QPS——和平时一模一样。这篇记录完整的排查过程。最终根因是一条肉眼看上去完全正确的 SQL,错在一个很多人都会忽略的细节上。先说现象接口不是全挂,是间歇性大面积变慢,P99 冲到 5 秒以上;应用日志里刷出大量 HikariPool-1 - Connection is not av...

线上告警又响了:核心接口 P99 从 80ms 飙到 5 秒以上,部分请求直接超时。第一反应是流量涨了,但看 QPS——和平时一模一样。

这篇记录完整的排查过程。最终根因是一条肉眼看上去完全正确的 SQL,错在一个很多人都会忽略的细节上。

先说现象

  • 接口不是全挂,是间歇性大面积变慢,P99 冲到 5 秒以上;

  • 应用日志里刷出大量 HikariPool-1 - Connection is not available, request timed out after 30000ms;

  • 数据库 CPU 并不高,只有 20% 左右;

  • 重启应用能恢复几分钟,然后再次恶化。

最后一条很关键:连接池耗尽,但数据库不忙。这说明连接不是被“重计算”占着,而是被“卡住不动”了——要么慢查询在等锁,要么事务迟迟不提交,要么网络层有问题。方向直接锁死在这三类。

第一步:先看监控,别急着重启

还是老规矩,先保留现场。登录应用机器,第一眼看连接池指标(HikariCP 通过 JMX 或 Actuator 都能拿到):

bash
curl -s http://localhost:8080/actuator/metrics/hikaricp.connections.active
curl -s http://localhost:8080/actuator/metrics/hikaricp.connections.pending

看到的数据很典型:

  • active 连接数 = 池上限(比如 20/20),全部占满;

  • pending 等待线程数持续在几十个,只增不减。

连接全被占着、还有大量线程在排队等连接。这说明不是连接不够用,是每条连接被占用的时间太长了——正常一次查询几毫秒就还回去了,现在显然有东西让它卡住了。

第二步:jstack 抓栈,看线程卡在哪

抓线程栈,看那些等连接的线程到底在干什么:

bash
jstack <pid> > stack1.txt
sleep 3
jstack <pid> > stack2.txt

在栈里搜 getConnection,会看到大量线程长这样:

text
"http-nio-8080-exec-23" #123 ... java.lang.Thread.State: WAITING
    at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
    at com.zaxxer.hikari.pool.HikariPool.getConnection(HikariPool.java:196)
    at com.zaxxer.hikari.HikariDataSource.getConnection(HikariDataSource.java:128)
    at com.example.mapper.OrderMapper.selectByUserId(OrderMapper.java:35)
    at com.example.service.OrderService.listByUser(OrderService.java:61)
    ...

几十个线程都 WAITING 在 HikariPool.getConnection 上——它们在排队等一个空闲连接。这一步确认了:问题不在业务逻辑死循环,而在数据库侧,连接被前面的请求占着不释放。

再看那些已经拿到连接的线程在干什么,搜 SocketInputStream 或 read:

text
"http-nio-8080-exec-8" #108 ... java.lang.Thread.State: RUNNABLE
    at java.net.SocketInputStream.socketRead0(Native Method)
    at com.mysql.cj.protocol.a.NativeProtocol.read(NativeProtocol.java:1778)
    at com.mysql.cj.jdbc.ClientPreparedStatement.executeInternal(...)
    at com.example.mapper.OrderMapper.selectByUserId(OrderMapper.java:35)

拿到了连接的线程,正卡在从 MySQL 读响应的 socketRead 上,等数据库返回结果。所有线索指向同一个地方:数据库有查询跑得太慢。

第三步:去数据库看,谁在占着连接

登录数据库,直接看当前正在执行的查询:

sql
SHOW FULL PROCESSLIST;

重点看 Time 和 State 两列。现场是这样的:



Id User Time State Info
8821 app 47 Sending data SELECT ... FROM t_order WHERE user_id = '10086'
8822 app 46 Sending data SELECT ... FROM t_order WHERE user_id = '10087'
8823 app 45 Sending data SELECT ... FROM t_order WHERE user_id = '10088'

三条信息拼在一起,根因呼之欲出:

  1. Time 在几十秒量级——这些查询已经跑了快一分钟;

  2. State 是 Sending data——MySQL 正在扫描数据并发送结果,典型的全表扫描特征;

  3. 同一条 SQL 模板,只是参数不同——WHERE user_id = '...'。

慢查询把连接一条条占死,后面的请求只能排队,连接池很快见底。

第四步:EXPLAIN 一下,问题出在“隐式类型转换”

把 SQL 捞出来,看表结构和索引。t_order 表上有:

sql
CREATE TABLE t_order (
  id BIGINT PRIMARY KEY,
  user_id BIGINT NOT NULL,
  ...
  KEY idx_user_id (user_id)
);

user_id 上明明有索引 idx_user_id。那为什么还全表扫描?跑一下 EXPLAIN:

sql
EXPLAIN SELECT * FROM t_order WHERE user_id = '10086';

结果:



type key rows Extra
ALL NULL 1200000 Using where

type=ALL,key=NULL——索引根本没被用上,扫了 120 万行。

再看一眼 SQL 本身,问题就出来了:

sql
-- 字段是 BIGINT,参数却是字符串
WHERE user_id = '10086'

字段类型是 BIGINT,传进来的参数是字符串 '10086'。 MySQL 在比较时会做隐式类型转换:把字符串转成数字再比较。问题在于——当字段被函数或类型转换包裹时,索引就失效了。MySQL 的规则是:字符串列与数字比较时,会把字符串列转成数字(索引失效);数字列与字符串比较时,会把字符串转成数字(理论上索引可用),但实际执行计划中,优化器在字段侧做了类型转换后同样无法走索引,最终退化为全表扫描。

这里还有一个更隐蔽的点:这条 SQL 在代码里看起来完全正常。MyBatis 的 Mapper 是这样写的:

xml
<select id="selectByUserId" resultType="Order">
    SELECT * FROM t_order WHERE user_id = #{userId}
</select>

#{userId} 是预编译参数,本身没问题。问题出在调用方传进来的参数类型——上游接口拿到的是 String,直接透传进了 Mapper:

java
// Controller 层:userId 从请求参数拿,是 String
@GetMapping("/orders")
public List<Order> list(@RequestParam String userId) {
    return orderService.listByUser(userId);   // String 一路透传
}
java
// Service 层
public List<Order> listByUser(String userId) {
    return orderMapper.selectByUserId(userId);   // 还是 String
}
java
// Mapper 接口
List<Order> selectByUserId(String userId);   // 参数类型是 String

从 Controller 到 Mapper,userId 全程是 String,一路没有任何人做类型转换。 MyBatis 把 String 绑定到 BIGINT 字段上时,MySQL 就执行了隐式转换,索引随之失效。代码看着没问题,类型检查也过不了编译器(MyBatis 的参数类型是运行时绑定的),但性能就这么没了。

第五步:修复

最小改动、根治问题的做法,是在进入数据库之前把类型对齐:

java
// Mapper 接口:参数类型改成 Long
List<Order> selectByUserId(@Param("userId") Long userId);
java
// Service 层:显式转换,非法值提前拦截
public List<Order> listByUser(String userId) {
    Long id;
    try {
        id = Long.parseLong(userId);
    } catch (NumberFormatException e) {
        throw new IllegalArgumentException("userId 格式非法: " + userId);
    }
    return orderMapper.selectByUserId(id);
}

改完再跑一次 EXPLAIN:



type key rows
ref idx_user_id 12

type=ref,走了 idx_user_id,扫描行数从 120 万降到 12 行。接口 P99 回到 80ms 以内,连接池活跃数回落到个位数。

如果出于兼容性暂时不能改接口签名,兜底方案是在 SQL 里显式转换参数,保证参数以数字形式参与比较:

sql
WHERE user_id = CAST(#{userId} AS UNSIGNED)

但这只是止血,根本还是要让 Java 侧的类型和数据库字段类型对齐。

复盘:几个值得记住的点

1. 连接池打满,先看数据库忙不忙。 如果数据库 CPU 不高但连接全满,基本可以断定是慢查询或长事务在占着连接。这时候查应用代码是白费力气,直接去数据库看 PROCESSLIST。

2. SHOW FULL PROCESSLIST 的 Time 和 State 是金矿。 Time 很大 + State 是 Sending data,几乎就是全表扫描的固定画像。同一条 SQL 模板反复出现且参数不同,说明是某类查询出了问题,不是偶发。

3. “字段有索引”不等于“查询会走索引”。 索引失效的经典原因有一长串:隐式类型转换、字段上套函数(DATE(create_time))、LIKE '%xxx' 前缀通配、OR 连接了无索引字段、联合索引不满足最左前缀。每一条 SQL 上线前都值得 EXPLAIN 一遍。

4. 隐式类型转换是最阴的坑。 它不报错、不告警、单元测试全绿,只在数据量涨上来之后才以“接口变慢”的形式暴露。Java 侧的类型和数据库字段类型不一致时,宁可多写一行转换,也不要依赖 MySQL 帮你转。

5. 慢查询不是“数据库的问题”,往往是应用层传参的问题。 这条 SQL 单独拿出来看没毛病,问题出在调用链上游把 String 一路透传下来。排查慢查询时,顺着调用链往上找参数类型,比盯着 SQL 本身看有效得多。

附:常用排查命令速查

sql
-- 1. 看当前正在执行的查询(关键看 Time 和 State)
SHOW FULL PROCESSLIST;

-- 2. 查看执行计划,确认是否走索引
EXPLAIN SELECT * FROM t_order WHERE user_id = 10086;

-- 3. 开启慢查询日志(临时)
SET GLOBAL slow_query_log = 'ON';
SET GLOBAL long_query_time = 1;

-- 4. 查看索引使用情况
SHOW INDEX FROM t_order;
bash
# 5. 应用侧看连接池状态(Actuator)
curl -s http://localhost:8080/actuator/metrics/hikaricp.connections.active
curl -s http://localhost:8080/actuator/metrics/hikaricp.connections.pending

# 6. 抓线程栈,定位卡在 getConnection 还是 socketRead
jstack <pid> > stack.txt
grep -A 10 "getConnection" stack.txt | head -50

一句话收尾:连接池打满,别在应用层瞎找。 先去数据库看 PROCESSLIST,找到那条跑了很久的 SQL,EXPLAIN 看它有没有走索引,再顺着参数类型往上查——大多数“接口突然变慢”,根因都不在接口本身。

【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。