推理基础设施集体迈向“深水区”:Google 开源 TPU Sync,SGLang 组建豪华联盟
进入 2026 年 11 月,AI 推理基础设施领域连续迎来三则重量级工程进展——从云端超大集群的内存搬运、跨芯片厂商的开源调度引擎联盟,到本地端侧推理底座的 API 稳定性承诺,三条主线共同指向一个趋势:大模型推理正在从“野蛮生长的实验期”,全面跨入拼工程确定性、全链路效率与生态标准化的成熟期。
一、Google 开源 TPU Sync(C++):打通 HBM、内存、存储与网络的零拷贝通道
在分离式推理(Prefill 与 Decode 节点解耦)以及多轮 Agent 超长上下文场景下,推理基础设施的核心瓶颈已经不再是纯粹的芯片算力,而是海量 KV Cache 和模型权重的跨层级搬运。
为此,Google 正式开源了原生 C++ 底层库 TPU Sync(GitHub:google/tpu-sync,由早期的 TPU Raiden 演进而来),目前已针对 Cloud TPU v7x 与 v6e 完成验证优化,并通过原生的 KVConnector 接口正式接入 vLLM 的 TPU 插件 vllm-torchtpu。
核心技术突破
- 把多级存储与网络拉成一条“直通流水线”:TPU Sync 直接从 JAX 数组与 PyTorch 张量中提取原生
PjRtBuffer硬件描述符,在 C++ 后台线程池中绕开 Python GIL 和 CPU 中转拷贝,实现真正的零拷贝(Zero-Copy)与异步 DMA 传输。在生产级 KV Cache 块尺寸下,双向 PCIe 带宽可接近约 200 GB/s。 - 多级 KV 缓存与“热重启”保活:当 TPU 的 HBM 显存吃紧时,TPU Sync 会将主机系统内存(Host DRAM)、本地 SSD、Google Cloud Managed Lustre 乃至远端 TPU 节点统一纳入分层缓存体系;同时通过 POSIX 共享内存(
/dev/shm)保存主机侧 KV 缓存与 LRU 元数据——即便推理容器重启或升级,TB 级的热 KV 缓存依然保留在内存中,免去毁灭性的冷启动重算。 - 兼顾 RL 权重同步:除了推理侧的 KV 调度,它还为强化学习(RL)训练提供底层 DMA 与数据中心网络(DCN)原语,用于把训练器更新后的权重高速同步给采样节点。
实测性能收益
根据 Google Cloud 官方公布的基准数据,在 Qwen3 235B 模型上集成 TPU Sync 后,分离式服务中的 KV Cache 传输中位延迟从数秒直接压低至约 230 ms;在低并发分离式推理测试中,平均首 Token 延迟(TTFT)最高下降 60%(在更大的 480B 模型上降幅最高可达 90%)。
二、SGLang 成立官方联盟:英伟达、AMD、Intel、Google、Meta、Cloudflare 悉数入局
开源推理引擎的另一极同样动作频频。由 LMSYS Org 发起的 SGLang 联盟(SGLang Consortium) 在旧金山首届 SGLang Summit 开幕主题演讲上正式宣告成立。
几乎囊括半个 AI 基础设施圈的创始阵容
- 芯片三巨头同台:NVIDIA、AMD、Intel
- 云厂商与头部科技公司:Google、Meta、Cloudflare
- 新兴基础设施与调度平台:Modal、RadixArk
联盟将建立半年一次的路线图协作机制,重点围绕前沿模型首发支持、推理与多模态负载、分布式推理以及跨硬件架构优化展开联合工程攻关与测试资源协同。值得一提的是,SGLang 核心维护者依然保留技术决策与代码合入的最终控制权,以保证项目在巨头环伺下维持开源与硬件中立性。
同步落地 NVIDIA NIM 认证微服务
与此同时,SGLang 与英伟达企业级生态的绑定进一步加深——SGLang 正式作为优化推理后端,接入 NVIDIA NIM Certified(认证)微服务体系(与 TensorRT-LLM、vLLM 并列成为 NIM 的核心引擎支柱)。
其中颇具代表性的是 SGLang Model-Free NIM:企业无需为特定模型单独定制镜像,只需在容器启动时传入 Hugging Face 格式的模型,NIM 即可自动识别模型结构与量化格式、匹配 SGLang 执行后端(结合 RadixAttention 前缀缓存优化)并暴露 OpenAI 兼容接口,同时获得跨数十款 NVIDIA 硬件 SKU 的验证配置与 NVIDIA AI Enterprise 企业级支持。
三、ggml / llama.cpp 迈入 1.0 时代:结束“天天破接口”,正式承诺 API 稳定
如果说前两则新闻聚焦数据中心,那么 2026 年 11 月 13 日 发布的 llama.cpp v1.0.0 与 ggml v1.0.0,则是送给全球本地 AI 开发者的定心丸。
在经历长达 3.5 年 的高速野蛮迭代后,数以千计的桌面客户端、边缘端工具和各语言绑定早已深度依赖 libllama 与 libggml,但此前频繁出现的内部接口静默破坏一直是下游工程团队的心头之痛。随着 v1.0.0 落地,ggml-org 终于确立了严格的语义化版本(SemVer)与 API/ABI 稳定性契约:
- 主版本号(1.x → 2.0):只有破坏公开 C API(
./include)或 ABI 兼容性时才会升级; - 次版本号:仅用于向后兼容的新功能、新后端与新模型架构支持;
- 修订号:纯 Bug 修复,绝不触碰接口契约。
为了给 1.x 生命周期打好地基,v1.0.0 一口气清理了大量历史包袱并带入多项硬核新特性:
- 彻底断舍离:从
llama.h中移除了约 35 个已弃用的旧公共函数(如llama_set_warmup),并将 NextN 投机解码 API 正式转正并入核心头文件;ggml也清理了遗留算子接口,并将 RPC 协议升级至 v9。 - FP8 KV Cache 与 MoE 内存缓存:正式支持 OCP FP8(E4M3)格式的 KV Cache(
-ctk/-ctv f8_e4m3),并引入支持 CPU 共享配额的主机内存 MoE 专家缓存(host-memory MoE expert cache)——当大 MoE 模型略微超出显存时,可以把冷门专家优雅地卸载到系统内存。 - 服务端与协议加固:
llama-server补充了针对 SSRF、CORS 与 DNS 重绑定攻击的安全防护,并支持客户端断开时自动取消 MCP(Model Context Protocol)工具调用。
小结:从“能跑起来”到“敢大规模托付”
把这三件事放在一起看,脉络非常清晰:
- 云端算力层在解决“多节点、长上下文”下的存储墙与网络墙(Google TPU Sync);
- 服务引擎层在通过跨厂商联盟与企业级认证(SGLang Consortium + NVIDIA NIM),避免生态碎片化;
- 本地端侧层则通过 1.0 契约(ggml / llama.cpp v1.0.0),让成千上万的上层应用终于敢放心地锁版本、做长期工程沉淀。
参考资料
- Google TPU Sync 开源仓库:google/tpu-sync (GitHub)
- vLLM TPU 插件仓库:vllm-project/vllm-torchtpu (GitHub)
- 点赞
- 收藏
- 关注作者
评论(0)