随手记:告别复杂架构,用单文件 SQLite 撑起高并发 Web 服务
【摘要】 随手记:告别复杂架构,用单文件 SQLite 撑起高并发 Web 服务在现代后端开发中,一提到数据库选型,很多人的条件反射就是上 PostgreSQL 或 MySQL,再配一套 Redis 做缓存。对于大型分布式系统这固然没错,但对于个人项目、内部工具或是日活几万的中小型服务来说,这种“重装上阵”往往意味着更高的运维成本和网络延迟。其实,随着现代硬件 SSD 性能的飞跃以及 SQLite 自...
随手记:告别复杂架构,用单文件 SQLite 撑起高并发 Web 服务
在现代后端开发中,一提到数据库选型,很多人的条件反射就是上 PostgreSQL 或 MySQL,再配一套 Redis 做缓存。对于大型分布式系统这固然没错,但对于个人项目、内部工具或是日活几万的中小型服务来说,这种“重装上阵”往往意味着更高的运维成本和网络延迟。
其实,随着现代硬件 SSD 性能的飞跃以及 SQLite 自身特性的进化,单文件 SQLite 配合正确的参数调优,完全能轻松扛住数千 QPS 的读写并发。
这篇文章就来记录一下,在 Python (FastAPI) 或 Node.js 项目中,如何把生产环境的 SQLite 调教成一只性能猛兽。
一、 为什么默认配置的 SQLite 容易报 Database is locked?
很多人对 SQLite 的刻板印象停留在“并发极差、一写就锁库”。这其实是因为 SQLite 的默认配置为了兼容几十年前的老旧文件系统,显得过于保守:
-
默认的回滚日志模式(Rollback Journal):在写入时会锁住整个数据库文件,阻塞所有其他连接(包括读操作)。
-
极短的锁等待超时:默认
busy_timeout为 0,一旦遇到并发写入冲突,会立刻抛出OperationalError: database is locked,连重试的机会都不给。
只要打破这两个限制,SQLite 的吞吐量就会发生质变。
二、 生产环境必开的 4 个 Pragma 优化
在建立数据库连接后,第一时间执行以下几条
PRAGMA 指令,是释放 SQLite 性能的关键:Python
import sqlite3
def get_optimized_connection(db_path: str) -> sqlite3.Connection:
conn = sqlite3.connect(db_path, timeout=30.0, check_same_thread=False)
# 1. 开启 WAL (Write-Ahead Logging) 模式:实现读写完全并发,读不阻塞写,写不阻塞读
conn.execute("PRAGMA journal_mode = WAL;")
# 2. 调整同步级别为 NORMAL:在 WAL 模式下,NORMAL 既能保证断电数据不损坏,又能大幅减少 fsync 磁盘刷写次数
conn.execute("PRAGMA synchronous = NORMAL;")
# 3. 设置锁等待超时为 5000 毫秒:遇到写入冲突时自动排队等待,而不是直接报错崩溃
conn.execute("PRAGMA busy_timeout = 5000;")
# 4. 扩大内存缓存(负数代表 KB,这里设置为 64MB)并将临时表放在内存中
conn.execute("PRAGMA cache_size = -64000;")
conn.execute("PRAGMA temp_store = MEMORY;")
return conn
核心原理拆解
-
WAL 模式的魔力:开启 WAL 后,所有的修改不再直接覆写主
.db文件,而是顺序追加到旁边的.db-wal文件中。这意味着读取操作依然可以毫无阻碍地从主文件读取快照,彻底消除了读写互斥。 -
synchronous = NORMAL的权衡:在传统的FULL模式下,每次事务提交都要等操作系统把数据真正刷进物理磁盘才返回,延迟极高;而在 WAL 模式下改为NORMAL,只有在 Checkpoint(将 WAL 合并回主文件)时才强制刷盘,写入速度通常能提升 5 到 10 倍。
三、 高并发下的架构避坑指南
虽然单机性能已经很强,但在实际工程落地时,还有三个细节需要注意:
-
严格控制单次事务的粒度 SQLite 在同一时刻依然只允许一个写事务(Single Writer)。因此,绝对不要在
BEGIN TRANSACTION和COMMIT之间夹杂外部 HTTP 请求、文件解析等耗时操作。把数据在内存中准备好,再用毫秒级的速度一次性批量写入。 -
读写连接分离(可选进阶) 在异步框架(如 FastAPI +
aiosqlite)中,如果并发极高,可以在应用层维护一个 只读连接池 和一个 单线程专属写连接。所有SELECT走连接池并发读取,所有INSERT/UPDATE排队走单写连接,从根源上杜绝锁竞争。 -
备份不能直接
cp开启 WAL 模式后,数据库状态分布在.db、.db-wal和.db-shm三个文件中。在运行期间直接用系统的cp命令复制主文件会导致数据不一致或损坏。正确的在线热备份姿势是使用 SQLite 自带的 Backup API,或者执行:
SQLVACUUM INTO '/path/to/backup.db';这条命令会在不阻塞线上读写的情况下,生成一个干净、紧凑的独立备份文件。
四、 写在最后
软件架构设计里有一句名言:“不要为了解决你目前并不存在的规模问题而引入复杂性。”
省去独立的数据库容器、连接池配置、网络序列化开销,把整个应用的数据状态浓缩进一个可随时打包带走的
.db 文件里——这种极致的简洁与可控感,正是 SQLite 在现代全栈开发中重新翻红的原因。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)