谷歌 Z4M 存储型实例正式上线:单机 168000 GiB 本地 SSD,400 Gbps RDMA 喂饱 GPU

举报
Eveline 发表于 2026/11/10 12:58:42 2026/11/10
【摘要】 谷歌云 Compute Engine 的存储型 Z4M 机型系列正式上线,提供虚拟机与裸金属两种形态。单机最高 192 个 vCPU、168000 GiB 本地 SSD,配 400 Gbps Cloud RDMA 网络,随机读最高 1560 万 IOPS。专为 AI 训练推理的检查点、分布式 KV 缓存与并行文件系统而生,让 GPU、TPU 不再空等数据。

原文信息:本文译自《Storage-optimized Z4M machine series are GA》,作者 bob Napaa,发布于 2026 年 11 月 7 日。原文链接:https://cloud.google.com/blog/products/compute/storage-optimized-z4m-machine-series-are-ga/ 。原文未注明许可信息。本文为翻译,译者在文末补充了译者注。

译者导语:AI 训练推理的瓶颈常常不在算力,而在数据喂不进去:检查点要落盘、KV 缓存要扩容、并行文件系统要吞吐,GPU 空转着等数据是常事。谷歌云新上线的 Z4M 存储型机型就是冲着这个来的——单机 168000 GiB 本地 SSD 加 400 Gbps RDMA,目标是让存储跟上加速卡的速度。下面是官方公告的翻译。

为 AI 时代的存储而生

今天,谷歌云宣布新一代存储型 Z4M 机型系列在 Compute Engine 正式上线,提供虚拟机(VM)与裸金属(bare-metal)两种形态。

Z4M 是为 AI/ML 训练与推理设计的:检查点(checkpointing)保存、分布式键值(KV)缓存、并行文件系统——这些负载要搬运海量数据,要大规模并行处理,对存储和网络吞吐的要求都很高。同时,低延迟访问数据同样关键,只有数据供得上,GPU 和 TPU 才能一直满负荷运转。Z4M 采用第五代英特尔至强可扩展处理器(Intel Xeon Scalable),配合 Titanium 的最新增强,提供最高 168000 GiB 本地 SSD(Local SSD,LSSD)存储,以及最高 400 Gbps 的 Cloud RDMA(Remote Direct Memory Access,远程直接内存访问)网络。跟 TCP 网络比,RDMA 能把数据访问延迟降低最高 60%,应用吞吐上去了,云上投入也可以花得更值。

两种形态:虚拟机与裸金属

Z4M 虚拟机提供很大的本地 SSD 总容量,每个 vCPU 对应 875 GiB 本地 SSD,方便按需求扩展基础设施与集群规模。裸金属实例则直接用物理硬件,没有虚拟化层,延迟更低,适合自定义虚拟化层(hypervisor),以及有特定许可要求的负载。裸金属也适合智能体 AI 负载,开发者可以在上面大规模运行隔离沙箱,包括配合 Agent Substrate 使用。

除 168000 GiB 本地 SSD 外,Z4M 虚拟机与裸金属实例最高提供 192 个 vCPU、1536 GiB 内存,满足大规模数据处理。实例采用 Titanium SSD,把本地存储处理从 CPU 上卸载下来,实现实时数据处理、低延迟、高吞吐存储,还增强了存储安全性。Z4M 随机读最高 1560 万 IOPS,顺序读吞吐最高 75600 MiB/s;跟上一代 Z3 比,本地 SSD 存储性能与吞吐分别提升最高 70% 和 110%。

Cloud RDMA 与直通存储

Z4M 用 400 Gbps 的 RDMA 网络提供低延迟的存储层访问。即使处理大型多模态数据集,也能让 GPU 和 TPU 保持满负荷:通过 NVIDIA GPUDirect Storage 与 TPUDirect Storage,按线速传输海量数据;同时在本地处理数据的过程中,仍以满线速向外传输数据。本地 SSD 吞吐与网络吞吐的配比是 1.4:1,保持平衡。

适合哪些负载

负载类型 典型应用 Z4M 的好处
AI/ML 训练与推理 检查点保存、分布式键值缓存 大容量本地 SSD 配 400 Gbps 低延迟 RDMA 网络,支持 GPUDirect Storage 与 TPUDirect Storage,让 GPU、TPU 处理大型多模态数据集时保持满负荷
并行文件系统与企业级存储 Weka、Sycomp、Silk、VDURA 每个 vCPU 对应 875 GiB 本地 SSD 的高配比,加上 1.4:1 的本地 SSD 与网络吞吐配比,本地处理数据、满线速传给客户端
企业关键业务数据库 SQL、NoSQL、向量数据库、数据检索 本地 SSD 持续高 I/O 性能与吞吐,支撑每秒大量事务

合作伙伴怎么说

(原文配图:Nutanix、Silk、Sycomp、WEKA 四家合作伙伴标识,见原文链接)

Nutanix 产品管理副总裁 Saveen Pakala 表示,把 Nutanix Cloud Clusters(NC2)带到谷歌云新的 Z4M 裸金属实例上,凭借出色的 I/O 性能、高存储密度与英特尔 AMX 带来的效率,NC2 能支撑从密集 VDI 集群到数据密集型 AI 负载的各种场景。

Silk 首席研发官 Adik Sokolovski 说,Z4M 虚拟机把 Cloud RDMA 带到了存储型虚拟机上,本地 SSD 密度比前代高得多。他们的测试显示,Z4M 上的 Cloud RDMA 比 TCP 延迟低最高 3.7 倍,CPU 占用低最高 6 倍;对客户来说,从 I/O 密集型数据库到分析型 AI 负载,性能更快、更可预测,扩容也更从容。

Sycomp 高级 HPC 解决方案架构师 Scott Fadden 表示,Z4M 是 Sycomp 智能数据存储平台的一部分,每个节点容量更大,Z 系列架构持续演进,帮助客户构建更强大的平台。

WEKA 首席产品官 Ajay Singh 说,他们多年合作下来,测试发现 Z4M 机器的读吞吐大约是上一代的两倍,IOPS 最多高 79%,意味着更多数据、更多 token、更多完成的工作。

用 Cluster Director 编排大集群

用谷歌云的 Cluster Director 可以轻松配置、部署、管理大型 Z4M 集群,它提供高级的放置(placement)与维护能力,配合 Cluster Toolkit 能快速部署集群。可以把工作负载部署成紧凑拓扑以最大化性能,或分散拓扑以提高可用性,按可用区(availability domain)来定;也可以在这些可用区之间错开维护时间。另外,Z4M 实例可以跟 GPU、TPU 集群部署在一起,实时、大规模地处理超大数据。

维护体验更好

Z4M 虚拟机与裸金属实例都更容易提前规划维护:系统会在需要维护前数天发出通知。本地 SSD 容量在 42000 GiB 及以下的 Z4M 虚拟机,维护期间可以在线迁移(live-migrate)。本地 SSD 容量 84000 GiB 及以上的 Z4M 虚拟机与裸金属实例,则必须终止并重启,数据在计划内维护事件中会保留。

支持 Hyperdisk

Z4M 虚拟机与裸金属实例支持 Hyperdisk——谷歌云面向工作负载优化的块存储,可以针对每个工作负载独立调优存储性能与容量。

具体支持 Hyperdisk Balanced、Hyperdisk Throughput 与 Hyperdisk Extreme,网络附加存储单实例最高 512 TiB 容量。一般用途负载可选 Hyperdisk Balanced,单实例最高 32 万 IOPS,兼顾性能与成本。Hyperdisk Extreme 延迟极低,单台 Z4M 虚拟机与裸金属实例最高支持 50 万 IOPS、12500 MiB/s 吞吐,很适合要求严苛的数据库负载。

现在就能用

Z4M 虚拟机与裸金属实例今天起在全球部分区域上线。在谷歌云控制台创建虚拟机或 GKE 节点池时,在 Storage-Optimized(存储优化型)机型家族下选 Z4M 即可开始使用。区域可用性详情可以咨询谷歌云销售代表。

译者注

  1. 性能数字是厂商实测:1560 万 IOPS、75600 MiB/s、延迟低 60% 这类数字来自谷歌与合作伙伴的实验室环境,落到自己的负载上会有出入;1536 GiB 内存是虚拟机与裸金属合起来的上限,按官方文档,虚拟机本身是 1488 GB,选型前先按工作集核对。
  2. 维护的分界线要记牢:42000 GiB 及以下维护时可在线迁移,84000 GiB 及以上与裸金属则要停机重启(数据保留)。跑长期训练任务的话,检查点保存策略要跟维护窗口对齐,别让一次计划维护打断几天没存盘的训练。
  3. 和华为云的结合点:思路是通用的——把存储贴到算力旁边,让加速卡少等数据。华为云弹性云服务器 ECS、GPU 云主机与云硬盘的组合也是这个打法:本地盘扛 I/O、高速网络扛传输,训练推理的检查点与缓存放得离算力越近,利用率越高。

相关阅读(同方向旧文,纯文本链接): - vLLM 休眠模式的显存税怎么省:PhOSv1 共享 GPU 上下文,休眠 23 个模型显存降 98.1%:https://bbs.huaweicloud.com/blogs/f9cdf2ddf484453b81398875a93a9a44 - 竞价实例跑 Serverless 工作流不怕被回收:FaaSpot 按 DAG 结构分级容错,成本降一半:https://bbs.huaweicloud.com/blogs/0eb752350f164b0c8478911194445196

原文:Storage-optimized Z4M machine series are GA,bob Napaa,Google Cloud Blog,2026-11-07。原文链接:https://cloud.google.com/blog/products/compute/storage-optimized-z4m-machine-series-are-ga/

【版权声明】本文为华为云社区用户翻译文章,如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容, 举报邮箱:cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。