SQLite WAL 实测:单条提交快 4.9 倍,读 p99 从 100ms 降到 0.1ms

举报
yd_243452805 发表于 2026/11/19 14:41:08 2026/11/19
【摘要】 实测 SQLite 从 rollback journal 换到 WAL:500 条单条提交吞吐 339 提升到 1677 事务每秒,synchronous=NORMAL 下达 41441;2 万行批量提交差距缩到 7 倍;并发写入时读 p99 从 100.3ms 降到 0.099ms。含完整脚本与不适合开 WAL 的边界。

边缘网关、桌面客户端、CI 缓存这类"单机库"场景里,SQLite 常被当成玩具。但把 journal_mode 从 rollback journal 换成 WAL,同一份代码的写入吞吐能差 4.9 倍,读的 p99 能差 1000 倍。这不是推导,是我在 Windows + NVMe 上用 Python 3.13 跑出来的数。

测试环境:Windows 11、NVMe SSD、Python 3.13.12 自带的 sqlite3。所有数字都是本地实跑,脚本只依赖标准库,你可以直接抄下来复现。

一、两种日志的提交路径差在哪

rollback journal 的提交是:把原页写进 journal 文件 → fsync journal → 修改主库页 → fsync 主库 → 删除 journal。一次提交至少两次 fsync,且写主库期间读事务必须让路。

WAL 把新版本追加到 .wal 文件尾部,提交只是 append 加一次 fsync,主库文件不动;读事务按自己的快照读旧页,读写不互斥。checkpoint 再把 wal 合并回主库。

二、单条提交:339 → 1677 → 41441

500 条 INSERT,每条独立提交(autocommit),核心代码如下:

con = sqlite3.connect(path, isolation_level=None)
cur = con.cursor()
cur.execute("PRAGMA journal_mode=%s" % journal)
cur.execute("PRAGMA synchronous=%s" % sync)
for i in range(500):
    cur.execute("INSERT INTO t(k,v) VALUES(?,?)", ("k%d" % i, random.random()))

结果:

配置 吞吐 p50 p99
delete + FULL 339 tx/s 2.37ms 9.82ms
wal + FULL 1677 tx/s 0.55ms 1.26ms
wal + NORMAL 41441 tx/s 0.014ms 0.103ms

保留 FULL 时 WAL 已经是 4.9 倍,原因是它只 fsync 一次 wal,而不是 journal 加主库两次。换成 NORMAL,fsync 直接从提交路径上被挪走,变成 122 倍;代价是掉电可能丢最后几个事务,但库本身不会坏。

三、批量提交会把差距吃掉

同样的 2 万行,改成每 500 行提交一次:delete + FULL 是 145524 行/秒,wal + FULL 是 187586 行/秒,wal + NORMAL 是 1014677 行/秒。差距从 122 倍缩到 7 倍。fsync 是固定成本,批量提交把它摊薄了:如果你的写入本来就是批量的,WAL 的收益主要在并发上,而不是单看吞吐。

四、真正的收益:读不再被写挡住

一个线程连续做 300 次单条提交,另一个线程并发点查,统计读侧延迟:

配置 完成的读次数 p50 p99 最大
delete + FULL 379 0.045ms 100.3ms 151.0ms
wal + FULL 3000 0.016ms 0.099ms 4.09ms

rollback journal 下写事务持有排他锁,读者要么等锁要么拿到 SQLITE_BUSY。300 次写期间只挤出 379 次读,p99 被拖到 100ms。WAL 下读者走快照,3000 次读全部完成,p99 0.099ms,最大值 4ms。这一项差距比吞吐更致命:写多的接口会把同一进程里的读全部拖慢,表现出来像"偶发超时",很难从慢查询日志里看出来,因为慢的不是 SQL 本身,而是等待锁的时间。

五、什么时候不该开 WAL

WAL 不是免费的。它要求库文件在支持共享内存的本地文件系统上,网络盘上 -shm 容易出问题;wal 文件会一直增长到 checkpoint 才回收,长期存在的只读连接会阻止 checkpoint,需要配合 wal_autocheckpoint 或手动触发;单库仍然是单写者,写并发再高也只能排队,想提高写并发得靠分库或合并事务。此外 synchronous=NORMAL 只保证库不损坏,不保证最后一笔不丢,账务类写入建议留在 FULL。

结论

单机库的性能问题,先看提交频率,再看引擎。每笔一次 fsync 的写法,换成 WAL 能拿 4.9 倍;读延迟敏感的场景,快照读把 p99 从 100ms 拉到 0.1ms,这才是 WAL 最值钱的地方。如果写入本来就批量、读也只在启动时发生,那 4.9 倍和 122 倍都跟你无关,别为了参数好看把运维复杂度拉上去。参数本身不产生性能,改变的是提交路径上的等待次数,理解这一点比记住倍数更重要。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。