SQLite WAL 实测:单条提交快 4.9 倍,读 p99 从 100ms 降到 0.1ms
边缘网关、桌面客户端、CI 缓存这类"单机库"场景里,SQLite 常被当成玩具。但把 journal_mode 从 rollback journal 换成 WAL,同一份代码的写入吞吐能差 4.9 倍,读的 p99 能差 1000 倍。这不是推导,是我在 Windows + NVMe 上用 Python 3.13 跑出来的数。
测试环境:Windows 11、NVMe SSD、Python 3.13.12 自带的 sqlite3。所有数字都是本地实跑,脚本只依赖标准库,你可以直接抄下来复现。
一、两种日志的提交路径差在哪
rollback journal 的提交是:把原页写进 journal 文件 → fsync journal → 修改主库页 → fsync 主库 → 删除 journal。一次提交至少两次 fsync,且写主库期间读事务必须让路。
WAL 把新版本追加到 .wal 文件尾部,提交只是 append 加一次 fsync,主库文件不动;读事务按自己的快照读旧页,读写不互斥。checkpoint 再把 wal 合并回主库。
二、单条提交:339 → 1677 → 41441
500 条 INSERT,每条独立提交(autocommit),核心代码如下:
con = sqlite3.connect(path, isolation_level=None)
cur = con.cursor()
cur.execute("PRAGMA journal_mode=%s" % journal)
cur.execute("PRAGMA synchronous=%s" % sync)
for i in range(500):
cur.execute("INSERT INTO t(k,v) VALUES(?,?)", ("k%d" % i, random.random()))
结果:
| 配置 | 吞吐 | p50 | p99 |
|---|---|---|---|
| delete + FULL | 339 tx/s | 2.37ms | 9.82ms |
| wal + FULL | 1677 tx/s | 0.55ms | 1.26ms |
| wal + NORMAL | 41441 tx/s | 0.014ms | 0.103ms |
保留 FULL 时 WAL 已经是 4.9 倍,原因是它只 fsync 一次 wal,而不是 journal 加主库两次。换成 NORMAL,fsync 直接从提交路径上被挪走,变成 122 倍;代价是掉电可能丢最后几个事务,但库本身不会坏。
三、批量提交会把差距吃掉
同样的 2 万行,改成每 500 行提交一次:delete + FULL 是 145524 行/秒,wal + FULL 是 187586 行/秒,wal + NORMAL 是 1014677 行/秒。差距从 122 倍缩到 7 倍。fsync 是固定成本,批量提交把它摊薄了:如果你的写入本来就是批量的,WAL 的收益主要在并发上,而不是单看吞吐。
四、真正的收益:读不再被写挡住
一个线程连续做 300 次单条提交,另一个线程并发点查,统计读侧延迟:
| 配置 | 完成的读次数 | p50 | p99 | 最大 |
|---|---|---|---|---|
| delete + FULL | 379 | 0.045ms | 100.3ms | 151.0ms |
| wal + FULL | 3000 | 0.016ms | 0.099ms | 4.09ms |
rollback journal 下写事务持有排他锁,读者要么等锁要么拿到 SQLITE_BUSY。300 次写期间只挤出 379 次读,p99 被拖到 100ms。WAL 下读者走快照,3000 次读全部完成,p99 0.099ms,最大值 4ms。这一项差距比吞吐更致命:写多的接口会把同一进程里的读全部拖慢,表现出来像"偶发超时",很难从慢查询日志里看出来,因为慢的不是 SQL 本身,而是等待锁的时间。
五、什么时候不该开 WAL
WAL 不是免费的。它要求库文件在支持共享内存的本地文件系统上,网络盘上 -shm 容易出问题;wal 文件会一直增长到 checkpoint 才回收,长期存在的只读连接会阻止 checkpoint,需要配合 wal_autocheckpoint 或手动触发;单库仍然是单写者,写并发再高也只能排队,想提高写并发得靠分库或合并事务。此外 synchronous=NORMAL 只保证库不损坏,不保证最后一笔不丢,账务类写入建议留在 FULL。
结论
单机库的性能问题,先看提交频率,再看引擎。每笔一次 fsync 的写法,换成 WAL 能拿 4.9 倍;读延迟敏感的场景,快照读把 p99 从 100ms 拉到 0.1ms,这才是 WAL 最值钱的地方。如果写入本来就批量、读也只在启动时发生,那 4.9 倍和 122 倍都跟你无关,别为了参数好看把运维复杂度拉上去。参数本身不产生性能,改变的是提交路径上的等待次数,理解这一点比记住倍数更重要。
- 点赞
- 收藏
- 关注作者
评论(0)