Python lru_cache 的三个边界:淘汰顺序、共享返回值与失效

举报
yd_254857454 发表于 2026/11/10 10:12:33 2026/11/10
【摘要】 用 Python 标准库最小示例观察 lru_cache 的淘汰顺序、共享返回对象和主动失效,说明可哈希参数、TTL、并发重复计算及验证范围,避免缓存改变业务语义。

给函数加上 functools.lru_cache,重复输入就能复用上一次结果。但要安全地使用缓存,至少要说清楚三件事:哪些调用算同一个输入、缓存保留的是值还是对象,以及结果什么时候不再有效。

本文用只依赖 Python 标准库的最小示例,观察容量淘汰、可变返回值和主动失效。示例不访问网络,不依赖数据库,也不包含业务数据。

一、先用可观察的计数理解 LRU

LRU 表示最近最少使用。maxsize 限制缓存条目数;缓存满了以后,新条目进入时淘汰最近最久没有访问的条目。命中也算一次使用,因此读取动作会改变后续淘汰顺序。

下面的 square 只用于展示机制。平方运算本身太简单,实际项目不一定值得为它增加缓存。

from functools import lru_cache

@lru_cache(maxsize=2)
def square(n):
    return n * n

assert [square(n) for n in (1, 2, 1, 3, 2)] == [1, 4, 1, 9, 4]
info = square.cache_info()
assert (info.hits, info.misses, info.currsize) == (1, 4, 2)
print("eviction:", info)

调用顺序是 1、2、1、3、2。前两个参数各产生一次未命中;第三次访问 1 命中,使 1 成为最近使用项;插入 3 时淘汰 2;最后访问 2 又需要计算。因此 hits 为 1,misses 为 4,currsize 为 2。

只检查返回数字,容易漏掉“缓存其实没有命中”的问题。cache_info() 让我们同时检查结果与缓存行为。性能评估还应在真实工作负载下测量,不能根据这个小例子的计数推算加速倍数。

二、缓存会保留同一个返回对象

如果返回值是列表,同一键的下一次命中会拿到缓存中的那个列表。调用方的修改可能影响其他调用方。

@lru_cache(maxsize=2)
def labels(name):
    return [name]

a = labels("demo")
a.append("changed")
assert labels("demo") is a
assert labels("demo") == ["demo", "changed"]
print("shared return:", labels("demo"))

这段代码没有再次执行 labels 函数体,却观察到了 changed。原因是缓存保存了对象引用,没有在每次返回时自动复制。

可选策略有两种:缓存不可变结果,例如元组;或者在缓存层外按需求复制结果。返回 list(cached_tuple) 可以给每次调用一个新的外层列表,但如果内部还包含可变对象,浅层复制并不会隔离它们。应当根据数据结构约定隔离范围,而不是把“复制一次”当作完整保护。

对于每次调用都必须发生的副作用,例如写日志、扣减库存或递增计数,不应简单地把整个函数包进 lru_cache。命中会跳过函数体,改变原来的业务语义。

三、容量上限不等于过期时间

maxsize=2 只是最多保留两个缓存项,并不意味着结果两秒后失效,也不会在配置文件或数据库内容变化时自动刷新。

square.cache_clear()
assert square.cache_info().currsize == 0

cache_clear() 清空该包装函数的缓存,并重置命中与未命中计数。它适合明确的整体失效时机。标准 lru_cache 没有内建 TTL,也没有提供按某一个键删除缓存项的公共接口。如果结果依赖外部状态,可以把明确的版本号纳入参数,或选择带 TTL、按键失效能力的缓存方案。

版本号必须确实覆盖数据变化。只把当前日期拼进键,并不能保证当天多次更新后的结果正确。需要多个进程共享缓存时,还要注意 lru_cache 是进程内机制,不会自动同步其他进程的内容。

四、参数必须可哈希,键的含义需要设计

try:
    square([1])
except TypeError:
    print("unhashable argument rejected")
else:
    raise AssertionError("expected TypeError")

print("cache boundary checks passed")

列表不能直接作为这个缓存的参数。若业务输入是一组有序元素,可以在边界处转为元素均可哈希的元组;若顺序无关,则应先明确业务等价关系,再选择键的规范化方式。不要为了通过哈希检查就随意转成字符串,否则容易把数据表示问题藏进缓存命中逻辑。

位置参数和关键字参数的不同调用形式也可能产生不同缓存项。对外提供统一包装函数,在包装层校验输入并规范参数,通常比让调用方各自约定更稳妥。

五、验证范围与使用清单

将以上代码按顺序放入同一文件运行,预期输出如下:

eviction: CacheInfo(hits=1, misses=4, maxsize=2, currsize=2)
shared return: ['demo', 'changed']
unhashable argument rejected
cache boundary checks passed

这些断言覆盖容量淘汰、同一返回对象、整体清理和不可哈希参数。它们没有测量高并发吞吐、内存占用或外部数据一致性。lru_cache 能保持并发访问下内部数据结构的一致性,但同一结果尚未计算完成时,另一个线程仍可能重复执行函数;不能把它当成“同一请求只运行一次”的并发合并器。

使用前可以逐项检查:

  • 相同参数是否应当得到可复用的结果,是否存在必须每次执行的副作用?
  • 参数是否可哈希,调用形式是否统一?
  • 返回对象能否被调用方修改,是否需要不可变表示或复制?
  • 缓存容量是否有界,失效由谁触发?maxsize=None 会取消容量上限。
  • cache_info() 的命中率、实际延迟与内存变化是否支持引入缓存?

先确定复用和失效的语义,再选择容量,才能避免把一次计算优化变成长期的数据错误。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。