随手记:告别复杂架构,用单文件 SQLite 撑起高并发 Web 服务

举报
yd_233548797 发表于 2026/11/16 22:36:47 2026/11/16
【摘要】 随手记:告别复杂架构,用单文件 SQLite 撑起高并发 Web 服务在现代后端开发中,一提到数据库选型,很多人的条件反射就是上 PostgreSQL 或 MySQL,再配一套 Redis 做缓存。对于大型分布式系统这固然没错,但对于个人项目、内部工具或是日活几万的中小型服务来说,这种“重装上阵”往往意味着更高的运维成本和网络延迟。其实,随着现代硬件 SSD 性能的飞跃以及 SQLite 自...

随手记:告别复杂架构,用单文件 SQLite 撑起高并发 Web 服务

在现代后端开发中,一提到数据库选型,很多人的条件反射就是上 PostgreSQL 或 MySQL,再配一套 Redis 做缓存。对于大型分布式系统这固然没错,但对于个人项目、内部工具或是日活几万的中小型服务来说,这种“重装上阵”往往意味着更高的运维成本和网络延迟。

其实,随着现代硬件 SSD 性能的飞跃以及 SQLite 自身特性的进化,单文件 SQLite 配合正确的参数调优,完全能轻松扛住数千 QPS 的读写并发。

这篇文章就来记录一下,在 Python (FastAPI) 或 Node.js 项目中,如何把生产环境的 SQLite 调教成一只性能猛兽。

一、 为什么默认配置的 SQLite 容易报 Database is locked?

很多人对 SQLite 的刻板印象停留在“并发极差、一写就锁库”。这其实是因为 SQLite 的默认配置为了兼容几十年前的老旧文件系统,显得过于保守:

  1. 默认的回滚日志模式(Rollback Journal):在写入时会锁住整个数据库文件,阻塞所有其他连接(包括读操作)。

  2. 极短的锁等待超时:默认 busy_timeout 为 0,一旦遇到并发写入冲突,会立刻抛出 OperationalError: database is locked,连重试的机会都不给。

只要打破这两个限制,SQLite 的吞吐量就会发生质变。

二、 生产环境必开的 4 个 Pragma 优化

在建立数据库连接后,第一时间执行以下几条 PRAGMA 指令,是释放 SQLite 性能的关键:

Python
import sqlite3

def get_optimized_connection(db_path: str) -> sqlite3.Connection:
    conn = sqlite3.connect(db_path, timeout=30.0, check_same_thread=False)
    
    # 1. 开启 WAL (Write-Ahead Logging) 模式:实现读写完全并发,读不阻塞写,写不阻塞读
    conn.execute("PRAGMA journal_mode = WAL;")
    
    # 2. 调整同步级别为 NORMAL:在 WAL 模式下,NORMAL 既能保证断电数据不损坏,又能大幅减少 fsync 磁盘刷写次数
    conn.execute("PRAGMA synchronous = NORMAL;")
    
    # 3. 设置锁等待超时为 5000 毫秒:遇到写入冲突时自动排队等待,而不是直接报错崩溃
    conn.execute("PRAGMA busy_timeout = 5000;")
    
    # 4. 扩大内存缓存(负数代表 KB,这里设置为 64MB)并将临时表放在内存中
    conn.execute("PRAGMA cache_size = -64000;")
    conn.execute("PRAGMA temp_store = MEMORY;")
    
    return conn

核心原理拆解

  • WAL 模式的魔力:开启 WAL 后,所有的修改不再直接覆写主 .db 文件,而是顺序追加到旁边的 .db-wal 文件中。这意味着读取操作依然可以毫无阻碍地从主文件读取快照,彻底消除了读写互斥。

  • synchronous = NORMAL 的权衡:在传统的 FULL 模式下,每次事务提交都要等操作系统把数据真正刷进物理磁盘才返回,延迟极高;而在 WAL 模式下改为 NORMAL,只有在 Checkpoint(将 WAL 合并回主文件)时才强制刷盘,写入速度通常能提升 5 到 10 倍。

三、 高并发下的架构避坑指南

虽然单机性能已经很强,但在实际工程落地时,还有三个细节需要注意:

  1. 严格控制单次事务的粒度 SQLite 在同一时刻依然只允许一个写事务(Single Writer)。因此,绝对不要在 BEGIN TRANSACTION 和 COMMIT 之间夹杂外部 HTTP 请求、文件解析等耗时操作。把数据在内存中准备好,再用毫秒级的速度一次性批量写入。

  2. 读写连接分离(可选进阶) 在异步框架(如 FastAPI + aiosqlite)中,如果并发极高,可以在应用层维护一个 只读连接池 和一个 单线程专属写连接。所有 SELECT 走连接池并发读取,所有 INSERT/UPDATE 排队走单写连接,从根源上杜绝锁竞争。

  3. 备份不能直接 cp 开启 WAL 模式后,数据库状态分布在 .db、.db-wal 和 .db-shm 三个文件中。在运行期间直接用系统的 cp 命令复制主文件会导致数据不一致或损坏。正确的在线热备份姿势是使用 SQLite 自带的 Backup API,或者执行:

    SQL
    VACUUM INTO '/path/to/backup.db';
    
    这条命令会在不阻塞线上读写的情况下,生成一个干净、紧凑的独立备份文件。

四、 写在最后

软件架构设计里有一句名言:“不要为了解决你目前并不存在的规模问题而引入复杂性。”

省去独立的数据库容器、连接池配置、网络序列化开销,把整个应用的数据状态浓缩进一个可随时打包带走的 .db 文件里——这种极致的简洁与可控感,正是 SQLite 在现代全栈开发中重新翻红的原因。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。