大模型推理加速：PagedAttention 与连续批处理原理解析

随着大语言模型（LLM）参数量持续攀升并在生产环境中大规模落地，高并发、低延迟的推理服务架构成为 AI 基础设施的核心诉求。在经典的自回归解码阶段，每个 Token 的生成均依赖此前所有历史 Token 的 Key-Value 缓存。然而，传统的显存管理机制由于无法预知生成序列长度，造成了高达 60%~80% 的显存碎片与浪费。

本文深入剖析主流高性能推理引擎（如 vLLM、TGI）采用的核心加速技术：PagedAttention 虚拟分页显存管理与连续批处理（Continuous Batching）调度范式。

一、KV Cache 的显存困境

在自回归解码中，为了避免重复计算历史 Token 向量，必须将 Key 和 Value 缓存至显存。对于高并发长序列场景，KV Cache 显存占用随并发度与序列长度线性增长，引发严重的内存碎裂与频繁 OOM。

二、PagedAttention 核心架构设计

vLLM 提出的 PagedAttention 机制，借鉴操作系统的虚拟内存管理分页技术：

• 逻辑块与物理块解耦：将连续的 KV Cache 切分为固定大小的逻辑块（如每块 16 个 Token）；
• 页表映射（Block Table）：维护从逻辑块索引到显存非连续物理块的映射表；
• 按需动态分配：随着自回归生成推进，仅在逻辑块填满时才申请新的物理块，彻底消除了显存预留浪费。

三、连续批处理与生产收益

连续批处理在每次迭代粒度进行动态请求调度，新请求在已有请求释放显存时即刻插入批次，显著平抑首 Token 延迟（TTFT）并提升 2~4 倍系统并发吞吐。

来源说明：本文参考公开学术论文与主流推理系统实践整理。