Kimi K3 深度解析：2.8T 参数背后的架构创新与 Agent 能力

一、引言

随着大语言模型的发展，模型竞争的重点正在从单纯扩大参数规模，逐渐转向模型架构、推理效率、长上下文处理以及复杂任务执行能力。

2026 年 7 月，月之暗面（Moonshot AI）正式发布并开源 Kimi K3。这是一款拥有 2.8 万亿（2.8T）总参数、1040 亿（104B）激活参数的 MoE 模型，同时支持原生视觉理解和 100 万 Token 上下文窗口。

与传统 Transformer 模型相比，Kimi K3 的创新并不只是参数规模的增长，而是通过 Kimi Delta Attention（KDA）、Attention Residuals（AttnRes）以及 Stable LatentMoE 等技术，对注意力计算、信息传递和专家路由机制进行了系统性优化。

本文将从模型架构、核心技术、能力表现和工程部署等方面，解析 Kimi K3 的技术特点。

二、Kimi K3 模型概览

Kimi K3 是一款面向复杂推理、长周期编程任务和 Agent 工作流的原生多模态模型。

其主要技术参数如下：

从参数规模来看，Kimi K3 已经进入超大规模稀疏模型的范畴。

需要注意的是，2.8T 表示模型的总参数量，并不意味着每次推理都需要激活全部参数。Kimi K3 通过 MoE 路由机制，仅选择部分专家参与计算，因此其单 Token 激活参数量约为 104B。

这种设计在保留大规模模型知识容量的同时，降低了每次 Token 计算所需的计算量。

三、核心架构创新

Kimi K3 的技术创新主要集中在三个方面：Kimi Delta Attention、Attention Residuals 和 Stable LatentMoE。

3.1 Kimi Delta Attention（KDA）

传统 Transformer 使用 Multi-Head Attention（MHA）进行信息交互，其核心是通过 Query、Key 和 Value 计算 Token 之间的注意力权重。

对于长度为 N 的序列，标准全注意力机制的计算复杂度通常为：

[
O(N^2d)
]

其中 N 为序列长度，d 为隐藏层维度。

当上下文窗口扩展到几十万甚至百万 Token 时，注意力计算和 KV Cache 存储都会带来较大的资源压力。

Kimi K3 引入了 Kimi Delta Attention（KDA），采用混合线性注意力思路，通过状态更新机制处理历史信息，减少对完整历史 Key-Value 的依赖。

其核心思想可以理解为：

• 不再始终保存所有历史 Token 的完整注意力信息。
• 通过递归状态更新压缩和传递历史上下文。
• 利用门控机制控制历史信息的保留与更新。
• 在长序列场景下改善计算和内存效率。

Kimi K3 并没有完全抛弃传统注意力，而是采用混合架构：93 层网络中包含 69 层 KDA 和 24 层 Gated Multi-head Latent Attention（Gated MLA）。

这种组合兼顾了线性注意力的效率优势和传统注意力的精细信息交互能力。

3.2 Attention Residuals（AttnRes）

传统 Transformer 通常通过残差连接传递不同网络层的信息：

[
x_{l+1}=x_l+F_l(x_l)
]

其中 (x_l) 表示第 l 层的输入，(F_l) 表示当前层的变换。

这种方式虽然简单有效，但随着网络深度增加，不同层的信息会不断累加，模型对历史层信息的利用方式相对固定。

Attention Residuals（AttnRes）尝试改变这一机制。

它通过引入类似注意力的加权聚合方式，使当前层能够根据上下文动态选择和组合之前不同层的表示。

可以将其理解为：

传统残差连接主要采用固定的累加方式，而 AttnRes 允许模型学习如何选择和融合不同深度的历史信息。

其意义主要体现在：

1. 改善深层网络的信息传递。
2. 提高不同层特征的利用效率。
3. 降低深层网络中信息混合带来的潜在干扰。
4. 为超深层模型提供新的信息流动机制。

需要注意，AttnRes 并不是简单地将 Transformer 的残差连接替换成标准 Self-Attention，而是一种针对网络深度方向的信息聚合机制。

3.3 Stable LatentMoE

MoE 是 Kimi K3 实现超大规模参数容量的重要基础。

传统 MoE 通常由多个 Expert 组成，通过 Router 根据输入 Token 选择部分 Expert 执行计算。

Kimi K3 进一步采用 Stable LatentMoE 框架：

• 模型包含 896 个专家。
• 每个 Token 选择 16 个专家参与计算。
• 额外设置 2 个共享专家。
• 通过潜在空间中的专家路由机制组织计算。

与简单扩大专家数量相比，Stable LatentMoE 更关注大规模专家体系下的训练稳定性、路由效率和计算资源利用率。

对于拥有数百个专家的模型而言，专家之间的负载不均衡、通信开销和路由稳定性都会成为重要问题。

Kimi K3 通过架构与训练策略优化，进一步提高了稀疏专家模型的扩展效率。官方称，相比 Kimi K2，整体 Scaling Efficiency 提升约 2.5 倍。

四、百万 Token 上下文与多模态能力

4.1 100 万 Token 上下文

Kimi K3 支持最高 1,048,576 Token 的上下文窗口。

这意味着模型可以在一次任务中处理非常长的输入内容，例如：

• 大型代码仓库及其关联文档。
• 数百页技术报告和研究论文。
• 长时间积累的对话记录。
• 多份相互关联的业务文件。

不过，长上下文并不意味着模型能够无损地理解所有输入信息。

在实际应用中，仍然需要考虑上下文中的信息密度、注意力分配、关键信息定位以及推理成本。

从工程角度看，百万 Token 上下文可以减少部分场景下的分块检索和上下文拼接工作，但不能完全取代 RAG。

4.2 原生视觉理解

Kimi K3 使用 MoonViT-V2 作为视觉编码器，参数规模约为 401M。

它能够处理文本和图像输入，将视觉信息与语言推理结合起来。

这使模型不仅可以理解普通文本，还可以处理：

• 文档和图表分析。
• 软件界面理解。
• 图片内容识别。
• 视觉辅助编程。
• 基于图像反馈的交互任务。

对于 Agent 系统而言，原生视觉能力意味着模型可以进一步理解 GUI、应用界面和可视化结果，为视觉驱动的自动化工作流提供基础。

五、Kimi K3 的 Agent 能力

Kimi K3 的一个重要定位是 Agentic Model，即面向复杂任务执行的智能体模型。

传统 LLM 通常以单轮或多轮文本生成为主要交互方式，而 Agent 需要具备任务规划、工具调用、状态管理、结果验证和错误恢复等能力。

Kimi K3 重点强化了长周期任务执行能力。

5.1 长周期 Coding Agent

在复杂软件开发任务中，模型需要完成的不只是代码补全，而是：

1. 理解整个代码仓库。
2. 分析项目结构和依赖关系。
3. 制定开发计划。
4. 调用终端、编辑器和测试工具。
5. 根据执行结果修复错误。
6. 持续迭代，直到任务完成。

Kimi K3 强调在较少人工干预的情况下，持续执行复杂工程任务。

官方展示的应用场景包括 GPU Kernel 优化、编译器开发、CAD、游戏开发以及芯片设计。

5.2 从工具调用到自主任务执行

Agent 的能力不仅取决于模型本身，还取决于模型与外部工具、执行环境之间的协作。

一个典型的 Agent 工作流可以抽象为：

用户输入
   |
   v
任务理解与规划
   |
   v
任务拆解
   |
   v
工具调用
   |
   v
执行结果反馈
   |
   v
结果验证
   |
   +---- 未完成 ----> 继续规划与执行
   |
   v
最终结果输出

在这个过程中，模型需要持续维护任务状态，并根据工具返回结果动态调整后续行动。

因此，Kimi K3 的价值不仅体现在推理能力上，也体现在其面向长周期任务的模型设计与训练方向上。

当然，实际生产环境中的 Agent 仍然需要 Harness 提供权限管理、工具调度、状态持久化、异常处理和安全隔离等工程能力。模型能力不能替代完整的 Agent 系统架构。

六、训练基础设施与部署生态

超大规模 MoE 模型的训练和推理，对底层基础设施提出了很高的要求。

Kimi K3 相关的基础设施技术包括：

MoonEP： 面向大规模细粒度 MoE 的高性能通信库，主要解决专家并行场景中的通信效率和负载不均衡问题。

FlashKDA： 针对 Kimi Delta Attention 实现的高性能算子，用于加速 KDA 相关计算。

AgentEnv： 面向大规模 Agent 训练的沙箱环境，支持隔离执行、快速快照、恢复和分叉等能力。

这些组件分别覆盖专家并行通信、注意力算子和 Agent 执行环境，说明大模型竞争已经从单一模型架构延伸到完整的训练基础设施体系。

在推理部署方面，Kimi K3 提供 MXFP4 权重和 MXFP8 激活的量化方案，并支持相关推理生态。

但需要注意，104B 激活参数并不意味着可以在普通单卡 GPU 上轻松部署。模型仍然拥有 2.8T 总参数，完整权重的存储、专家分布、显存容量、跨卡通信和 KV Cache 都是实际部署时必须考虑的问题。

对于普通开发者而言，优先通过官方 API 或兼容推理服务体验模型，通常比直接进行全量自部署更加现实。

七、总结与展望

Kimi K3 的发布体现了大模型发展的几个重要趋势：

1. 架构创新： 通过 KDA 和 AttnRes 改善长序列处理和深层网络的信息传递。
2. 稀疏计算： 通过 Stable LatentMoE，在扩大模型总参数规模的同时控制激活计算量。
3. 原生多模态： 将视觉理解融入统一模型能力体系。
4. Agent 化： 从文本生成转向复杂任务规划、工具调用和长周期执行。
5. 基础设施协同： 通过 MoonEP、FlashKDA 和 AgentEnv 等技术支撑超大规模模型的训练与应用。

对于大模型应用开发者而言，Kimi K3 值得关注的地方不仅是 2.8T 参数和百万 Token 上下文，更重要的是它展示了模型架构、推理基础设施和 Agent 系统之间逐渐融合的发展方向。

未来，模型之间的竞争将不再局限于单纯的 Benchmark 分数，而是更加关注复杂任务的端到端完成能力、执行稳定性、推理成本以及实际业务价值。

Kimi K3 所代表的方向，是让大模型从能够回答问题，进一步走向能够理解复杂目标、使用工具并持续完成任务。