224B 总参数、只激活 12B、KV 缓存缩到 1/24:腾讯 Hy4 flash 是怎么把成本压下来的?
昨天(11 月 16 日),阿里发布了 2.4T 参数的旗舰 Qwen4-Max,风头很盛;但从工程角度看,同日腾讯发布的 Hy4 flash 更值得细读。它不拼“更大”,而是把“每个任务花多少钱、多久做完”作为第一目标:224B 总参数、12B 激活、100 万 token 上下文,API 输入价约 0.070 美元/百万 token。本文拆解它的技术路线,并指出哪些数字还需要打问号。
一、架构:混合注意力 + LatentMoE + Engram
据腾讯官方发布,Hy4 flash 总参数 2240 亿,其中 640 亿是 Engram 参数,每个 token 仅激活 120 亿,支持多模态输入与最长 1M 上下文。预训练阶段采用三项架构特性:混合注意力(hybrid attention)、LatentMoE 和 Engram。
Engram 可以理解为一种“查表式”的条件记忆参数:它占了总参数的近三分之一,但不参与每一步的稠密计算,所以总量大并不拖慢解码。(官方稿未展开其细节,上述理解是对其用途的推断,具体机制请以技术报告为准。)
二、KV 缓存:长上下文成本的真正瓶颈
长上下文推理中,显存和带宽的大头往往是 KV 缓存而非权重。官方称 Hy4 flash 的 KV 缓存仅为 Hy3 的 1/24、Hy4 的 1/6。这意味着同一张卡可以并发更多请求、承载更长会话,也是缓存命中输入价能低到 0.003 美元/百万 token 的底层原因之一。混合注意力(部分层使用线性或局部注意力)正是此类压缩的常见手段。
三、后训练:用 RL 把输出砍掉一半
成本不仅来自单价,也来自“话多”。腾讯称强化学习使端到端任务的平均输出 token 减少 50%。输出价是输入价的 4 倍(0.281 vs 0.070 美元),少说一半话,对账单的影响比单价下调更直接。官方还强调其评测关注交付物质量、单轮输出长度与任务耗时,而不是脱离日常工作的公开榜单分数。
四、推理优化:megakernel、4-bit 与 DFly
推理侧结合了 megakernel(把多个算子融合进一个长驻内核,减少启动与同步开销)、4-bit 量化和 DFly 技术,官方称解码速度超过 150 token/s。DFly 官方稿未说明,不做猜测。
对开发者意味着什么
- 价格显著下探:输入 0.070、输出 0.281、缓存输入 0.003 美元/百万 token;至 11 月 30 日,WorkBuddy 内免费,腾讯云 TokenHub 五折。长上下文、重复前缀的 Agent 场景受益最大。
- 定位清晰:官方建议日常任务(深度研究、文档处理、PPT 生成、简单前端、电脑操作)用 flash,长程软件工程仍用更强的 Hy4。
- 谨慎看待自测数据:“略优于 770B/49B 激活的 Hy4 Preview”“单任务成本为其 1/13、Hy4 的 1/20、DeepSeek-V4.1-Flash 的 1/8”均来自腾讯自建的 WorkIndex(内部基准,围绕 WorkBuddy 任务);盲测只有 85 名腾讯内部用户、259 个任务,称满意度“接近 Claude Haiku 5.5”。这些都是厂商自测,未经第三方复现,且对手价格取的是“高峰时段”档,对比口径有利于自己。
- 开源尚未兑现:官方只说“计划开源”,权重未发布;OpenRouter 接入也是“即将”。
- 落地前建议用自己的任务集测“每个成功任务的总成本”,而非只看 token 单价。
结语
Hy4 flash 代表了一个清晰趋势:模型竞争正从“榜单分数”转向“单位任务成本”。稀疏激活、KV 缓存压缩、RL 减少输出、低比特推理,四把刀同时砍。真正的检验要等权重开源和独立评测——到那时,这些数字才算真正落地。
- 点赞
- 收藏
- 关注作者
评论(0)