前缀缓存为什么能加速 LLM 推理：从 KV Cache 说起

大模型推理分两个阶段：prefill 把输入提示词整体算一遍，decode 再一个 token 一个 token 往外生成。慢和贵的大头在 prefill，提示词越长越明显。

先说 KV Cache。自注意力要用到每个 token 的 Key 和 Value，decode 时如果每生成一个词都把前面的全部重算，计算量会爆炸，所以推理引擎会把已算出的 KV 存下来，后面直接复用。这是单次请求内的优化。

前缀缓存是把它推到跨请求：很多请求的开头是完全一样的——同一段系统提示词、同一批 few-shot 示例、同一份长文档。在 token 层面逐字一致的前提下，这段公共前缀的 KV 只算一次、存下来，后续请求命中就直接跳过这段 prefill，只算后面变化的部分。效果是首 token 延迟明显下降，算力成本也跟着降，前缀越长、复用次数越多，收益越大。

用好它有三条经验。一是提示词要「稳定在前、变化在后」：前缀是按顺序逐 token 匹配的，开头改一个字，后面全失效，用户输入、时间戳这类动态内容务必放最后。二是缓存不是永久的，各家实现有容量和过期策略，命中率要实测，不能假设。三是它只省 prefill，decode 的逐字生成一点不省，长输出场景别指望它解决一切。

一句话总结：前缀缓存省的是重复劳动——同一段话，别让模型一遍遍重读。