224B 总参数、只激活 12B、KV 缓存缩到 1/24:腾讯 Hy4 flash 是怎么把成本压下来的?

举报
why0603 发表于 2026/11/17 11:11:26 2026/11/17
【摘要】 昨天(11 月 16 日),阿里发布了 2.4T 参数的旗舰 Qwen4-Max,风头很盛;但从工程角度看,同日腾讯发布的 Hy4 flash 更值得细读。它不拼“更大”,而是把“每个任务花多少钱、多久做完”作为第一目标:224B 总参数、12B 激活、100 万 token 上下文,API 输入价约 0.070 美元/百万 token。本文拆解它的技术路线,并指出哪些数字还需要打问号。一、...

昨天(11 月 16 日),阿里发布了 2.4T 参数的旗舰 Qwen4-Max,风头很盛;但从工程角度看,同日腾讯发布的 Hy4 flash 更值得细读。它不拼“更大”,而是把“每个任务花多少钱、多久做完”作为第一目标:224B 总参数、12B 激活、100 万 token 上下文,API 输入价约 0.070 美元/百万 token。本文拆解它的技术路线,并指出哪些数字还需要打问号。

一、架构:混合注意力 + LatentMoE + Engram

据腾讯官方发布,Hy4 flash 总参数 2240 亿,其中 640 亿是 Engram 参数,每个 token 仅激活 120 亿,支持多模态输入与最长 1M 上下文。预训练阶段采用三项架构特性:混合注意力(hybrid attention)、LatentMoE 和 Engram。

Engram 可以理解为一种“查表式”的条件记忆参数:它占了总参数的近三分之一,但不参与每一步的稠密计算,所以总量大并不拖慢解码。(官方稿未展开其细节,上述理解是对其用途的推断,具体机制请以技术报告为准。)

二、KV 缓存:长上下文成本的真正瓶颈

长上下文推理中,显存和带宽的大头往往是 KV 缓存而非权重。官方称 Hy4 flash 的 KV 缓存仅为 Hy3 的 1/24、Hy4 的 1/6。这意味着同一张卡可以并发更多请求、承载更长会话,也是缓存命中输入价能低到 0.003 美元/百万 token 的底层原因之一。混合注意力(部分层使用线性或局部注意力)正是此类压缩的常见手段。

三、后训练:用 RL 把输出砍掉一半

成本不仅来自单价,也来自“话多”。腾讯称强化学习使端到端任务的平均输出 token 减少 50%。输出价是输入价的 4 倍(0.281 vs 0.070 美元),少说一半话,对账单的影响比单价下调更直接。官方还强调其评测关注交付物质量、单轮输出长度与任务耗时,而不是脱离日常工作的公开榜单分数。

四、推理优化:megakernel、4-bit 与 DFly

推理侧结合了 megakernel(把多个算子融合进一个长驻内核,减少启动与同步开销)、4-bit 量化和 DFly 技术,官方称解码速度超过 150 token/s。DFly 官方稿未说明,不做猜测。

对开发者意味着什么

  • 价格显著下探:输入 0.070、输出 0.281、缓存输入 0.003 美元/百万 token;至 11 月 30 日,WorkBuddy 内免费,腾讯云 TokenHub 五折。长上下文、重复前缀的 Agent 场景受益最大。
  • 定位清晰:官方建议日常任务(深度研究、文档处理、PPT 生成、简单前端、电脑操作)用 flash,长程软件工程仍用更强的 Hy4。
  • 谨慎看待自测数据:“略优于 770B/49B 激活的 Hy4 Preview”“单任务成本为其 1/13、Hy4 的 1/20、DeepSeek-V4.1-Flash 的 1/8”均来自腾讯自建的 WorkIndex(内部基准,围绕 WorkBuddy 任务);盲测只有 85 名腾讯内部用户、259 个任务,称满意度“接近 Claude Haiku 5.5”。这些都是厂商自测,未经第三方复现,且对手价格取的是“高峰时段”档,对比口径有利于自己。
  • 开源尚未兑现:官方只说“计划开源”,权重未发布;OpenRouter 接入也是“即将”。
  • 落地前建议用自己的任务集测“每个成功任务的总成本”,而非只看 token 单价。

结语

Hy4 flash 代表了一个清晰趋势:模型竞争正从“榜单分数”转向“单位任务成本”。稀疏激活、KV 缓存压缩、RL 减少输出、低比特推理,四把刀同时砍。真正的检验要等权重开源和独立评测——到那时,这些数字才算真正落地。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。