数据库偶发 200ms 抖动,最后定位到脏页回写

举报
yd_219479431 发表于 2026/11/14 14:02:10 2026/11/14
【摘要】 现象业务监控上 MySQL 的 P99 每隔一两分钟就冒一个 200ms 的尖刺,而 QPS、连接数、CPU 都很平稳。慢日志里对应的语句各不相同,共同点是 Lock_time 很小、Query_time 突然变大,说明不是某条 SQL 扫描行数变多,也不是在等行锁,而是在等磁盘。第一步:先把“锁”和“IO”分开如果用 SHOW ENGINE INNODB STATUS 看不到死锁记录,慢日...

现象

业务监控上 MySQL 的 P99 每隔一两分钟就冒一个 200ms 的尖刺,而 QPS、连接数、CPU 都很平稳。慢日志里对应的语句各不相同,共同点是 Lock_time 很小、Query_time 突然变大,说明不是某条 SQL 扫描行数变多,也不是在等行锁,而是在等磁盘。

第一步:先把“锁”和“IO”分开

如果用 SHOW ENGINE INNODB STATUS 看不到死锁记录,慢日志里 Lock_time 又接近 0,那这个延迟基本来自 IO 路径。此时不要先去改索引,先把系统的 IO 队列看清楚:

iostat -x 1 5
# 关注 r/s w/s、await、aqu-sz、%util

实测现象是:%util 常年在 50%~60% 看着并不高,但 await 会周期性跳到 100ms 以上,aqu-sz 跟着变大。这说明设备本身不是持续打满,而是瞬时排队——队列一堆积,所有同步写都被拖住。

第二步:看脏页回写,而不是看总内存

Linux 的页缓存会把写请求先收进内存,再由内核回写线程刷盘。一旦脏页量超过阈值,写入进程就会被 balance_dirty_pages 拦住,同步等待回写,表现出来就是偶发但很整齐的延迟尖刺。

grep -E 'Dirty|Writeback' /proc/meminfo
awk '/nr_dirty|nr_writeback/' /proc/vmstat
sysctl vm.dirty_ratio vm.dirty_background_ratio vm.dirty_expire_centisecs vm.dirty_writeback_centisecs

当时的 Dirty 会在尖刺出现前冲到 MemTotal 的 10% 左右,正好是 dirty_background_ratio 的默认值。也就是说:后台回写刚开始跟不上,前台写入就立刻转成同步回写,ext4 的 journal 提交加上 barrier 把这个等待又放大了一层。

第三步:把回写从“集中”改成“均匀”

这里没有银弹,核心是把回写提前、摊平,避免瞬间触发同步路径:

  • 把 vm.dirty_background_ratio 从 10 降到 5(大内存机器用 dirty_background_bytes 更直观,比如 1GB),让内核更早开始回写;
  • 把 vm.dirty_expire_centisecs 从 3000 调到 1000~1500,脏页产生后 10~15 秒就进入回写,不再一口气等 30 秒;
  • 数据库数据盘用 none 或 deadline 调度器,减少合并带来的不确定性;
  • redo/binlog、数据文件、备份流尽量分盘,或者用 cgroup 的 io.max 给备份限速,别和在线事务抢带宽;
  • 应用侧把大事务拆小,减少单次 checkpoint 需要刷的脏页数量。

结果

调整 dirty_background_ratio 与 dirty_expire_centisecs 之后,Dirty 曲线变成锯齿更密的形态,峰值再没碰到后古回写阈值,P99 从 200ms 回落到 20ms 以内,尖刺消失。

三条经验

1)先区分“等锁”还是“等盘”,Lock_time 接近 0 就不要急着改索引;2)看 IO 要看队列深度和 await,%util 不高不代表没有排队;3)脏页回写本质是容量与节奏问题,调参只是把尖刺摊平,真正的根治要么换更快的盘,要么把写放大降下来。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。