从显存墙到KV Cache池化：大模型推理的性能瓶颈与华为云解法

大模型推理正在成为AI算力消耗的核心场景。无论是多轮对话、代码辅助还是文本生成，这些任务都具有高并发需求和严格的延迟要求。然而，在实际生产环境中，很多团队都面临一个尴尬的局面——买了高性能算力卡，推理吞吐却始终上不去，GPU利用率常年徘徊在40%左右。问题到底出在哪里？

一、显存墙：大模型推理的第一道坎

先看一组数据。一个Qwen2-7B模型，FP16精度下模型参数本身就占用约14GB显存。部署在线推理服务时，每个并发请求都需要在显存中缓存完整的KV Cache——即Transformer自注意力机制中Key和Value的中间状态，用于避免重复计算。单机A100（80GB显存）除去模型参数后，剩余空间可能只够支撑几十个并发请求。

更麻烦的是，传统推理框架要求KV Cache必须连续存储。用户输入长短不一——有的问一句“你好”，有的贴一篇千字文。系统为了对齐，不得不把短请求也按最长的来分配显存，大量空间白白浪费。这就是大模型推理领域著名的显存墙问题。

显存墙带来的直接后果有几个：

算力资源浪费。受限于单机显存容量，单节点能并发处理的请求数量极低。强行通过增加算力来应对高并发，只会导致推理成本急剧上升。

长上下文遗忘。系统被迫频繁丢弃历史对话的KV Cache以腾出空间，导致智能助手在长文本交互中“遗忘”早期内容，上下文断裂。

首Token延迟高。被丢弃的历史会话或具有公共前缀的请求再次被激活时，必须消耗大量算力重新计算KV Cache，不仅推高成本，更拖慢响应速度。

二、vLLM与PagedAttention：操作系统思想移植到显存管理

2023年，伯克利大学LMSYS组织开源了vLLM推理框架，首次将操作系统的分页内存管理思想移植到大模型推理场景。

vLLM的核心创新是PagedAttention算法。传统方案要求KV Cache连续存储，PagedAttention则将其切成固定大小的“页”（比如每页512 tokens），每个序列按需申请非连续的物理页，通过页表拼接使用。

用租房的比喻来解释：传统方案要求租一整套大房子，哪怕只住一间房；PagedAttention允许租多个单间，灵活组合，还不浪费空间。

效果非常直接——显存占用最多降低70%，利用率轻松突破80%。多个请求如果使用了相同的System Prompt，它们的KV页还能直接共享，彻底告别重复计算。

除了内存管理，vLLM还引入了连续批处理机制。传统批处理像公交车——到点发车，不管有没有人上车。vLLM则像高铁随到随走——新请求随时可以插入正在运行的批次，所有序列独立推进，互不阻塞。

这两个优化叠加，7B到13B级别的模型可以轻松跑出5到10倍的吞吐提升。

三、Prefill-Decode分离：让计算和访存各司其职

大模型推理可以分为两个阶段：Prefill（预填充）阶段计算用户输入Prompt的KV Cache，是计算密集型；Decode（逐Token生成）阶段逐个生成输出Token，是访存密集型。

两者的资源需求完全不同。传统架构中，Prefill和Decode耦合在同一个设备上执行，资源无法按需配置——Prefill阶段算力不够，Decode阶段显存不够。

华为云的解法是PD分离架构。在CCE集群上，基于vLLM-ascend推理引擎和Kthena编排框架，采用1P1D（1个Prefill节点 + 1个Decode节点）分离架构，通过物理隔离两个阶段，各自独立优化。

Kthena是专为Kubernetes设计的大模型推理路由、编排与调度系统，作为Volcano的子项目，它支持声明式编排（将推理任务拆解为不同角色指派给不同Pod）、智能路由（感知推理引擎状态与负载）和弹性伸缩。

四、EMS：把KV Cache从显存挪到内存池

Prefill与Decode物理隔离之后，海量的KV Cache中间状态数据必须在节点间高效流转。如果这些数据仍然依赖单机显存，分离架构的价值就会大打折扣。

华为云推出了弹性内存存储（EMS） ，一种以DRAM内存为主存储介质的分布式内存池化技术。EMS将KV Cache从昂贵的显存卸载到分布式内存池中，实现跨节点的共享访问。

EMS的架构由三部分组成：领域专用服务SDK（提供业务系统接入和近数据处理）、分布式内存池（负责跨节点内存空间管理和负载均衡）、管理面。

EMS的核心价值在于以存代算——用相对廉价的内存替代昂贵的显存，在显著降低推理算力成本的同时，大幅提升整体吞吐性能。实测中，结合EMS的KV Cache优化，首Token时间（TTFT）降低70%，Token吞吐量提升至2倍。

五、华为云ModelArts的推理实践

上述技术并非停留在论文或实验室阶段。华为云ModelArts推理平台已经将这些能力产品化，形成了完整的工具链。

在模型适配层面，ModelArts提供了两条迁移路线：CV类小模型推荐MindSpore-Lite推理路线，利用图编译和自动调优能力达到更好性能；LLM大模型则推荐PyTorch + ascend-vllm路线。ModelArts提供即开即用的云上集成开发环境，包含迁移所需的算力资源和工具链，以及Notebook代码运行示例和最佳实践。

在部署层面，ModelArts支持弹性自动扩缩容的在线推理服务，能够应对高并发流量冲击。结合大EP（Expert Parallelism）、PagedAttention等优化技术，有效提升吞吐量并降低单位推理成本。

在算力层面，昇腾AI云服务基于CloudMatrix384超节点，将384颗昇腾芯片通过高速网络对等全互联，实现算力、内存和显存的全面池化。实测中，在50毫秒时延条件下，单卡每秒可生成2400个Token，平均单卡推理性能达到NVIDIA H20的3到4倍。

总结

从PagedAttention解决显存碎片，到PD分离解耦计算与访存，再到EMS实现KV Cache的跨节点池化——大模型推理的优化正在从“单卡压榨”走向“集群协同”。这个演进路径清晰地指向一个方向：大模型推理的竞争，已经从单卡算力的比拼，转向了内存体系与调度系统的系统性工程较量。

对于正在将大模型推理搬上生产环境的团队来说，理解这些底层原理比单纯堆卡更重要。算力可以买，但显存墙和调度效率的问题，买再多的卡也解决不了。