数据库偶发 200ms 抖动,最后定位到脏页回写
现象
业务监控上 MySQL 的 P99 每隔一两分钟就冒一个 200ms 的尖刺,而 QPS、连接数、CPU 都很平稳。慢日志里对应的语句各不相同,共同点是 Lock_time 很小、Query_time 突然变大,说明不是某条 SQL 扫描行数变多,也不是在等行锁,而是在等磁盘。
第一步:先把“锁”和“IO”分开
如果用 SHOW ENGINE INNODB STATUS 看不到死锁记录,慢日志里 Lock_time 又接近 0,那这个延迟基本来自 IO 路径。此时不要先去改索引,先把系统的 IO 队列看清楚:
iostat -x 1 5
# 关注 r/s w/s、await、aqu-sz、%util
实测现象是:%util 常年在 50%~60% 看着并不高,但 await 会周期性跳到 100ms 以上,aqu-sz 跟着变大。这说明设备本身不是持续打满,而是瞬时排队——队列一堆积,所有同步写都被拖住。
第二步:看脏页回写,而不是看总内存
Linux 的页缓存会把写请求先收进内存,再由内核回写线程刷盘。一旦脏页量超过阈值,写入进程就会被 balance_dirty_pages 拦住,同步等待回写,表现出来就是偶发但很整齐的延迟尖刺。
grep -E 'Dirty|Writeback' /proc/meminfo
awk '/nr_dirty|nr_writeback/' /proc/vmstat
sysctl vm.dirty_ratio vm.dirty_background_ratio vm.dirty_expire_centisecs vm.dirty_writeback_centisecs
当时的 Dirty 会在尖刺出现前冲到 MemTotal 的 10% 左右,正好是 dirty_background_ratio 的默认值。也就是说:后台回写刚开始跟不上,前台写入就立刻转成同步回写,ext4 的 journal 提交加上 barrier 把这个等待又放大了一层。
第三步:把回写从“集中”改成“均匀”
这里没有银弹,核心是把回写提前、摊平,避免瞬间触发同步路径:
- 把 vm.dirty_background_ratio 从 10 降到 5(大内存机器用 dirty_background_bytes 更直观,比如 1GB),让内核更早开始回写;
- 把 vm.dirty_expire_centisecs 从 3000 调到 1000~1500,脏页产生后 10~15 秒就进入回写,不再一口气等 30 秒;
- 数据库数据盘用 none 或 deadline 调度器,减少合并带来的不确定性;
- redo/binlog、数据文件、备份流尽量分盘,或者用 cgroup 的 io.max 给备份限速,别和在线事务抢带宽;
- 应用侧把大事务拆小,减少单次 checkpoint 需要刷的脏页数量。
结果
调整 dirty_background_ratio 与 dirty_expire_centisecs 之后,Dirty 曲线变成锯齿更密的形态,峰值再没碰到后古回写阈值,P99 从 200ms 回落到 20ms 以内,尖刺消失。
三条经验
1)先区分“等锁”还是“等盘”,Lock_time 接近 0 就不要急着改索引;2)看 IO 要看队列深度和 await,%util 不高不代表没有排队;3)脏页回写本质是容量与节奏问题,调参只是把尖刺摊平,真正的根治要么换更快的盘,要么把写放大降下来。
- 点赞
- 收藏
- 关注作者
评论(0)