【编译】Zen5 架构加持：AMD 第五代 EPYC Turin 处理器实现 LLaMA 3.1 推理吞吐翻倍

### AMD Turin 架构演进与大模型算力需求 随着生成式 AI（Generative AI）与检索增强生成（RAG）场景在生产环境的大规模落地，服务器端 CPU 在承担通用计算任务的同时，正扮演着越来越关键的端到端模型推理宿主角色。AMD 近期正式发布了基于 Zen5 架构的第五代 EPYC 服务器级处理器（代号 Turin）。新一代架构在制造工艺、分支预测能力以及执行流水线宽度上实现了全面重构，最高可提供单插槽 192 物理核心与 384 线程的极高计算密度。 对于 Hugging Face 生态系统中的开源大语言模型（LLM）而言，算力密度的激增直接扩展了多实例并发推理的吞吐上限。为了验证新架构在深度学习实际生产负载下的运行效能，Hugging Face 团队联合 AMD 展开了软硬件联合调优测试，重点评估了其在多实例并发服务化部署与计算图编译加速流水线中的吞吐增益。 --- ### 软件栈协同加速：ZenDNN 与 torch.compile 的深度整合 在现代 CPU 架构上运行深度学习负载，单纯依靠增加物理核心并不能线性换取吞吐收益，关键在于计算图级优化、内存访存带宽利用率以及矢量指令集调度。本次基准测试的核心优化支柱是 AMD 为 PyTorch 量身打造的 ZenDNN 插件（内部命名为 `zentorch`）。 ``` +--------------------------------------------------------+ | PyTorch Frontend (Python API) | +--------------------------------------------------------+ │ ▼ +--------------------------------------------------------+ | torch.compile (Dynamo Tracing / FX Graph) | +--------------------------------------------------------+ │ ▼ +--------------------------------------------------------+ | ZenDNN Plugin (zentorch Graph Passes) | | - Operator Fusion (Conv/MatMul + Bias + Activation) | | - Layout Optimization & Memory Planning | | - Zen5 Vector Unit Dispatch (AVX-512 / VNNI) | +--------------------------------------------------------+ │ ▼ +--------------------------------------------------------+ | ZenDNN 5.0 Runtime C++ | +--------------------------------------------------------+ │ ▼ +--------------------------------------------------------+ | AMD 5th Gen EPYC Hardware (Turin) | +--------------------------------------------------------+ ``` `zentorch` 的核心价值在于其与 PyTorch 2.x 的 `torch.compile` 图编译流水线实现了无缝对接： 1. **图级优化（Graph-level Optimizations）**：通过在 `torch.fx` 生成的计算图上运行多遍自定义 Pass，实现算子融合（Operator Fusion）、冗余内存布局转换消除以及常量折叠。 2. **底层硬件指令映射**：底层依托 ZenDNN 5.0 高性能计算库，充分调用 Zen5 架构原生增强的 AVX-512 矢量计算单元及 BF16（bfloat16）指令集，最大化单核运算流水线的吞吐效率。 3. **低开销内存复用**：针对自回归解码（Auto-regressive Decode）阶段极度敏感的访存延迟，`zentorch` 对权重加载与 KV Cache 缓冲池进行了定制化内存对齐，避免了频繁的缓存失效（Cache Misses）。 --- ### 基准测试方案与多实例并发拓扑 本次评测对比了代表当前两代旗舰水准的硬件平台： * **AMD EPYC Turin**：128 核心规格，基于 Zen5 架构 * **AMD EPYC Genoa**：96 核心规格，基于前代 Zen4 架构 为排除首字生成（Time to First Token, TTFT）中 Prefill 阶段的高动态计算波动，测试将核心指标严格锁定在**纯 Decode 吞吐量（Tokens per Second, 排除第一个 Token）**，这直接反映了模型在维持高并发长连接对话时的真实服务容量。 #### 测试参数与多实例设计 * **基准模型**：Meta LLaMA 3.1 8B Instruct * **数值精度**：`bfloat16` 原生加速模式 * **运行时依赖**：PyTorch 2.x + ZenDNN 5.0 + `zentorch` * **资源拓扑划分（Multi-instance Setups）**：采用多实例隔离运行模式。在每个 CPU 插槽中，将核心划分为数个计算资源池，每个 LLaMA 3.1 8B 实例固定绑定分配 32 个物理核心。通过绑核（Core Pinning）与 NUMA 亲和性策略，避免跨节点访存争用，从而最大化发挥大容量 L3 Cache 与高通道 DDR5 内存的并发吞吐能力。 * **工作负载配置**：设计了涵盖 Batch Size 为 16 和 32 的五种典型生产业务场景（涵盖短上下文问答、中长文本生成等不同输入/输出序列长度组合）。 --- ### 性能评测与实测数据分析 在多实例并行执行负载下，LLaMA 3.1 8B Instruct 的基准测试结果展现出了明显的性能代差。 | 测试场景 (Batch Size / Input-Output Length) | Genoa (96 核心) 相对吞吐基准 | Turin (128 核心) 吞吐表现 | 相对性能提升倍率 | | :--- | :--- | :--- | :--- | | 场景 A (BS=16, 短序列交互) | 1.0x (基准) | ~1.95x | 接近 2.0X | | 场景 B (BS=16, 密集解码生成) | 1.0x (基准) | ~2.02x | 约 2.0X | | 场景 C (BS=32, 典型并发问答) | 1.0x (基准) | ~1.98x | 接近 2.0X | | 场景 D (BS=32, 长文本扩充) | 1.0x (基准) | ~2.08x | 超过 2.0X | | 场景 E (BS=32, 极限高压吞吐) | 1.0x (基准) | ~2.05x | 超过 2.0X | 无论在 Batch Size 16 还是高压力的 Batch Size 32 条件下，AMD EPYC Turin 均表现出极其稳健的吞吐扩展性。在所有五项严苛的业务场景配置中，Turin 展现出了稳定超越 Genoa **接近甚至超过 2 倍（2X）**的 Decode 吞吐量提升。 这一跃迁的系统级归因主要来自三点： 1. **Zen5 IPC 与矢量流水线效率提升**：Zen5 架构加宽了内部执行单元与乱序调度窗口，结合优化的 AVX-512 吞吐，使得 BF16 张量乘加运算的有效周期利用率大幅跃升。 2. **更高的物理核心与实例并行容量**：单芯片 128 核相比 96 核，能够原生承载更多的 32 核独立模型实例，直接放大了整机维度的并发处理规模。 3. **内存子系统优化**：高频 DDR5 内存通道的引入缓解了并发 Memory-bound 瓶颈，使大模型推理自回归阶段的高频权重读取开销大幅收敛。 --- ### 工程复现与开源生态建设 为了确保上述实验数据的高保真度与完全可复现性，本次基准评估全部基于 Hugging Face 开源测试框架 `optimum-benchmark` 编排执行。`optimum-benchmark` 提供了标准化的配置接口，可原生挂载 `torch.compile` 后端并无缝调度 `zentorch` 优化插件，屏蔽了底层环境构建中的依赖漂移问题。 同时，Hugging Face 团队联合 AMD 已经完成了一整套深度优化的 Docker 容器镜像封装，该镜像固化了运行 `zentorch` 所需的 C++ 动态库、特定编译器环境以及针对 Zen 架构优化过的 PyTorch 构筑体。相关推理评测代码与容器配置文件将陆续向开源社区开放，助力开发者在其现有的 CPU 生产集群上直接复现这一性能倍增策略。 --- > 声明：本文系编译转载自国内外知名人工智能实验室公开技术成果，仅供国内开发者个人技术交流与学术学习。 > 原文机构：Hugging Face 官方技术专栏 > 原文标题：Introducing the AMD 5th Gen EPYC™ CPU > 原文链接：https://huggingface.co/blog/huggingface-amd-turin