从内存墙到全局池化：AICS灵衢智算集群的互联架构重构

传统AI算力集群面临一个反直觉的困境：集群规模越大，单卡算力利用率反而越低。十万卡集群的实际模型算力利用率仅约20%，大量算力处于等待通信完成的状态。这个问题的根源不在芯片本身的算力，而在互联架构——当集群扩展到万卡级别时，节点间通信延迟和内存访问瓶颈成为决定系统性能的关键因素。华为在2026年全联接大会上发布的AICS灵衢智算集群，正是围绕这一瓶颈对计算架构进行的一次系统性重构。

传统架构的互联瓶颈
大模型推理的算力消耗分布极不均衡。Prefill阶段是计算密集型，需要在短时间内完成大量矩阵乘法；Decode阶段是访存密集型，每生成一个Token都需要读取完整的KV Cache。随着上下文窗口从4K扩展到百万Token级别，KV Cache的规模呈线性增长，单卡显存和主机内存都无法承载。Agent场景进一步放大了这个问题——Agent与模型每小时交互可达数百次，产生的KV Cache远超内存容量，必须依靠跨系统、跨层级的存储来承载。

传统集群的互联架构无法有效应对这种访问模式。节点之间的通信需要经过多层协议转换和CPU中转，RTT延迟在微秒级别，对于需要频繁跨节点访问KV Cache的推理任务来说，这个延迟被高频访问放大后成为性能瓶颈。更根本的问题是，传统架构中内存是节点私有的，无法在集群范围内形成统一的内存资源池。

灵衢总线的协议归一与内存语义
AICS灵衢智算集群的架构基础是灵衢总线对互联协议的重构。传统集群中，不同部件之间的通信使用十余种不同的互联协议——CPU与NPU之间、NPU与存储之间、节点与节点之间各有独立的协议栈。灵衢总线将这些协议统一为单一的灵衢协议，互联带宽从百GB级提升至TB级，RTT通信时延从7微秒压缩至2微秒。

协议归一的意义不仅是性能提升，更关键的是内存语义的建立。灵衢总线支持超节点内全局内存统一编址，这意味着所有节点的内存地址空间被映射到一个统一的地址空间中。NPU可以通过Load/Store语义直接访问远端节点的内存，而不需要经过消息传递或RPC调用。UB协议从硬件栈底层定义了跨节点内存访问机制，将地址翻译、权限校验和Load/Store访问语义扩展到跨节点范围。

这个设计带来的工程收益是：KV Cache的跨节点共享和复用不再需要显式的数据拷贝操作。当一个推理节点需要访问另一个节点上缓存的KV Cache时，它可以直接通过内存语义读取，延迟从RPC往返的数十微秒降低到内存访问的个位数微秒。

分级存储与全局池化架构
灵衢总线的内存语义为全局池化提供了物理基础，但要在软件层实现高效的内存池化，还需要一套完整的分级存储架构。AICS集群采用分级存储、全局池化的设计：以混合介质资源池化解决激活值缓存问题，将DDR作为NPU的“第二内存”，降低搜推广业务时延，千亿级、数千维向量检索性能翻番；同时降低10T大模型训练对单卡HBM的容量需求，助力提升集群MFU。

这个分级架构的具体层次是：NPU的HBM作为L1层，存储当前活跃推理请求的KV Cache，访问延迟最低但容量有限；节点的DDR内存作为L2层，通过灵衢总线的内存语义被NPU直接访问，作为HBM的容量扩展；OceanStor M900 AI记忆存储作为L3层，单集群提供64PB容量，单NPU可用KV Cache容量从GB级提升至TB级。

L3层的关键技术是NPU一跳直通SSD。传统存储路径中，NPU访问SSD需要经过CPU中转和存储协议栈解析，延迟在毫秒级。AICS的OceanStor M900采用业界首创的CPU、网络、盘控三芯合一架构，提供原生KV语义，实现NPU一跳直通到SSD，避免协议转换和CPU转发，访问时延由毫秒级降至60微秒，缩短90%。

这个三芯合一架构的工程含义是：存储控制器不再是一个被动的块设备接口，而是一个具备KV语义感知能力的主动存储节点。它理解KV Cache的数据结构，能够根据访问模式智能调度数据在快速SSD和容量SSD之间的分布。KV-Aware自适应存储技术根据KV Cache数据价值预测生命周期，对多模介质上的数据排布进行智能调度，实现最高24 DWPD，使得SSD介质寿命提升16倍。

性能收益与架构边界
AICS灵衢智算集群的性能指标可以从几个维度来解读。Token生成时延在10毫秒以内，千卡每秒吞吐达到500万Tokens（基于DeepSeek模型），在线服务可用性99.95%。在典型AI编程场景中，推理集群Token吞吐率翻倍、首Token时延缩短一半。单集群可提供40TB/s聚合访问带宽，相比业界方案提升1.5倍。

这套架构的工程边界同样清晰。灵衢总线的2微秒RTT虽然远低于传统RPC，但仍然比本地HBM访问慢一个数量级。对于访问模式高度集中的热数据，HBM命中率仍然是延迟的决定因素。分级存储的有效性依赖于KV Cache的局部性——如果Agent的访问模式极度分散，大量请求直接穿透到L3层，延迟会明显上升。L2层DDR内存池的命中率，是决定整体推理延迟的关键指标。

另一个边界是内存超分的工程约束。灵衢总线支持内存超分25%以上，但这依赖于对工作负载内存需求的准确预测。如果超分过度导致实际物理内存不足，跨节点内存借用的延迟会急剧上升。生产环境中需要根据业务特征精细调整超分比例。

从更宏观的视角来看，AICS灵衢智算集群代表了一种基础设施设计范式的转移：从“更大单卡”到“更优互联” 。传统思路是不断增加单卡HBM容量来容纳更大的KV Cache，但HBM的成本和物理密度限制了这条路径的扩展性。灵衢总线的思路是把内存从节点私有资源变成集群共享资源，通过分级存储和全局池化，用相对廉价的DDR和SSD来扩展昂贵HBM的有效容量。这种设计将内存墙问题从“造更大的显存”转变为“让现有内存更高效地协同”，是Agentic AI时代算力基础设施的一个务实解法。