Python 纯函数缓存:用 lru_cache 加速重复计算
# Python 纯函数缓存:用 lru_cache 加速重复计算
有些函数输入相同,结果就一定相同,例如解析固定格式、计算递归数列或生成规则不变的查询条件。每次重复计算都会浪费时间,但把结果缓存到全局字典又容易忽略缓存大小、清理时机和参数是否可哈希。Python 标准库的 `functools.lru_cache` 提供了一个清晰的缓存边界:用函数参数作为键,并按最近最少使用策略保存结果。
## 从纯函数开始
被缓存的函数最好是纯函数:相同参数始终返回相同结果,而且不会依赖当前时间、随机数、网络响应或可变的全局状态。下面用递归方式计算斐波那契数列,`lru_cache` 会把已经算过的中间结果保存起来:
```python
from functools import lru_cache
@lru_cache(maxsize=128)
def fibonacci(n: int) -> int:
if n < 0:
raise ValueError("n must be non-negative")
if n < 2:
return n
return fibonacci(n - 1) + fibonacci(n - 2)
print(fibonacci(40))
print(fibonacci.cache_info())
```
第一次计算 `fibonacci(40)` 时,函数会递归访问多个参数。后续再次传入 `40`,可以直接复用结果;递归过程中的 `39`、`38` 等中间值也已经在缓存中。`cache_info()` 会返回命中次数、未命中次数、当前缓存数量和最大缓存数量,适合在本地验证缓存是否真的有效。
## 选择缓存大小
`maxsize` 决定缓存最多保存多少组参数。设为 `128` 可以限制内存占用;如果参数组合有限且希望保留所有结果,可以传入 `None`,但要确保键的数量不会无限增长:
```python
from functools import lru_cache
@lru_cache(maxsize=4)
def format_pair(left: str, right: str) -> str:
return f"{left}:{right}"
for value in range(6):
print(format_pair("item", str(value)))
print(format_pair.cache_info())
```
这个例子会不断写入不同的键,缓存超过四项后会淘汰较早且最近没有使用的结果。缓存不是永久存储,也不应被当作数据的一致性来源;它只是当前进程中的性能优化。
## 处理外部状态变化
如果被缓存的结果依赖配置文件、数据库或远端接口,就要定义失效策略。最简单的方式是在外部状态更新后调用 `cache_clear()`:
```python
from functools import lru_cache
@lru_cache(maxsize=1)
def load_label(language: str) -> str:
labels = {"zh": "你好", "en": "Hello"}
return labels[language]
print(load_label("zh"))
load_label.cache_clear()
```
对于多线程或多进程程序,还要明确缓存的共享范围。`lru_cache` 保护的是当前 Python 进程内的函数调用;它不会自动在多个进程之间同步,也不会替代数据库或分布式缓存。
## 使用时检查三个边界
- 参数必须可哈希。列表、字典等可变对象不能直接作为缓存参数,可以先转换成元组或不可变结构。
- 结果不能依赖未声明的外部状态。否则缓存可能返回已经过期的值。
- 先用 `cache_info()` 观察命中率,再决定是否扩大 `maxsize`。缓存占用内存换取速度,不能只看单次调用时间。
`lru_cache` 的价值在于把缓存策略放在函数声明附近,使生命周期、大小和清理入口都可见。先确认函数满足可缓存的条件,再选择合适的 `maxsize`,通常比手工维护一个无边界字典更容易测试和维护。
- 点赞
- 收藏
- 关注作者
评论(0)