Kimi K3（2.8T 参数）在 MacBook Pro 上实现 1 token/s
【摘要】 独立团队在普通 MacBook Pro 上通过四块 SSD 流式推理 2.8 万亿参数的 MoE 模型（Kimi K3），实现约 1 token/s 的生成速度。 表明模型并行化与存储流式技术正在降低巨模型的部署门槛，未来个人工作站也可能承载曾经只能在超算中心才能跑的超大规模推理任务。 |
独立团队在普通 MacBook Pro 上通过四块 SSD 流式推理 2.8 万亿参数的 MoE 模型（Kimi K3），实现约 1 token/s 的生成速度。 表明模型并行化与存储流式技术正在降低巨模型的部署门槛，未来个人工作站也可能承载曾经只能在超算中心才能跑的超大规模推理任务。 |
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论（0）