Python lru_cache 的三个边界:淘汰顺序、共享返回值与失效
给函数加上 functools.lru_cache,重复输入就能复用上一次结果。但要安全地使用缓存,至少要说清楚三件事:哪些调用算同一个输入、缓存保留的是值还是对象,以及结果什么时候不再有效。
本文用只依赖 Python 标准库的最小示例,观察容量淘汰、可变返回值和主动失效。示例不访问网络,不依赖数据库,也不包含业务数据。
一、先用可观察的计数理解 LRU
LRU 表示最近最少使用。maxsize 限制缓存条目数;缓存满了以后,新条目进入时淘汰最近最久没有访问的条目。命中也算一次使用,因此读取动作会改变后续淘汰顺序。
下面的 square 只用于展示机制。平方运算本身太简单,实际项目不一定值得为它增加缓存。
from functools import lru_cache
@lru_cache(maxsize=2)
def square(n):
return n * n
assert [square(n) for n in (1, 2, 1, 3, 2)] == [1, 4, 1, 9, 4]
info = square.cache_info()
assert (info.hits, info.misses, info.currsize) == (1, 4, 2)
print("eviction:", info)
调用顺序是 1、2、1、3、2。前两个参数各产生一次未命中;第三次访问 1 命中,使 1 成为最近使用项;插入 3 时淘汰 2;最后访问 2 又需要计算。因此 hits 为 1,misses 为 4,currsize 为 2。
只检查返回数字,容易漏掉“缓存其实没有命中”的问题。cache_info() 让我们同时检查结果与缓存行为。性能评估还应在真实工作负载下测量,不能根据这个小例子的计数推算加速倍数。
二、缓存会保留同一个返回对象
如果返回值是列表,同一键的下一次命中会拿到缓存中的那个列表。调用方的修改可能影响其他调用方。
@lru_cache(maxsize=2)
def labels(name):
return [name]
a = labels("demo")
a.append("changed")
assert labels("demo") is a
assert labels("demo") == ["demo", "changed"]
print("shared return:", labels("demo"))
这段代码没有再次执行 labels 函数体,却观察到了 changed。原因是缓存保存了对象引用,没有在每次返回时自动复制。
可选策略有两种:缓存不可变结果,例如元组;或者在缓存层外按需求复制结果。返回 list(cached_tuple) 可以给每次调用一个新的外层列表,但如果内部还包含可变对象,浅层复制并不会隔离它们。应当根据数据结构约定隔离范围,而不是把“复制一次”当作完整保护。
对于每次调用都必须发生的副作用,例如写日志、扣减库存或递增计数,不应简单地把整个函数包进 lru_cache。命中会跳过函数体,改变原来的业务语义。
三、容量上限不等于过期时间
maxsize=2 只是最多保留两个缓存项,并不意味着结果两秒后失效,也不会在配置文件或数据库内容变化时自动刷新。
square.cache_clear()
assert square.cache_info().currsize == 0
cache_clear() 清空该包装函数的缓存,并重置命中与未命中计数。它适合明确的整体失效时机。标准 lru_cache 没有内建 TTL,也没有提供按某一个键删除缓存项的公共接口。如果结果依赖外部状态,可以把明确的版本号纳入参数,或选择带 TTL、按键失效能力的缓存方案。
版本号必须确实覆盖数据变化。只把当前日期拼进键,并不能保证当天多次更新后的结果正确。需要多个进程共享缓存时,还要注意 lru_cache 是进程内机制,不会自动同步其他进程的内容。
四、参数必须可哈希,键的含义需要设计
try:
square([1])
except TypeError:
print("unhashable argument rejected")
else:
raise AssertionError("expected TypeError")
print("cache boundary checks passed")
列表不能直接作为这个缓存的参数。若业务输入是一组有序元素,可以在边界处转为元素均可哈希的元组;若顺序无关,则应先明确业务等价关系,再选择键的规范化方式。不要为了通过哈希检查就随意转成字符串,否则容易把数据表示问题藏进缓存命中逻辑。
位置参数和关键字参数的不同调用形式也可能产生不同缓存项。对外提供统一包装函数,在包装层校验输入并规范参数,通常比让调用方各自约定更稳妥。
五、验证范围与使用清单
将以上代码按顺序放入同一文件运行,预期输出如下:
eviction: CacheInfo(hits=1, misses=4, maxsize=2, currsize=2)
shared return: ['demo', 'changed']
unhashable argument rejected
cache boundary checks passed
这些断言覆盖容量淘汰、同一返回对象、整体清理和不可哈希参数。它们没有测量高并发吞吐、内存占用或外部数据一致性。lru_cache 能保持并发访问下内部数据结构的一致性,但同一结果尚未计算完成时,另一个线程仍可能重复执行函数;不能把它当成“同一请求只运行一次”的并发合并器。
使用前可以逐项检查:
- 相同参数是否应当得到可复用的结果,是否存在必须每次执行的副作用?
- 参数是否可哈希,调用形式是否统一?
- 返回对象能否被调用方修改,是否需要不可变表示或复制?
- 缓存容量是否有界,失效由谁触发?maxsize=None 会取消容量上限。
- cache_info() 的命中率、实际延迟与内存变化是否支持引入缓存?
先确定复用和失效的语义,再选择容量,才能避免把一次计算优化变成长期的数据错误。
- 点赞
- 收藏
- 关注作者
评论(0)