Axion 1.0:1.8 万条数据训出研究型 Agent,字节跳动的"极简配方"能走多远

举报
hongyee77 发表于 2026/11/08 13:21:38 2026/11/08
【摘要】 11 月 2 日,一篇来自杜克大学、字节跳动、马里兰大学和布法罗大学的论文登上 arXiv:Axion 1.0(arXiv:2611.03233)。它没有发布会,却在几天内成了开源社区讨论最多的话题——因为它用一套简单到近乎"简陋"的训练配方,让开源 Agent 模型在硬核科研推理基准上逼近了顶级闭源模型。发生了什么Axion 1.0 是面向科研型 Agent 的开源基础模型家族,有 35B...

11 月 2 日,一篇来自杜克大学、字节跳动、马里兰大学和布法罗大学的论文登上 arXiv:Axion 1.0(arXiv:2611.03233)。它没有发布会,却在几天内成了开源社区讨论最多的话题——因为它用一套简单到近乎"简陋"的训练配方,让开源 Agent 模型在硬核科研推理基准上逼近了顶级闭源模型。

发生了什么

Axion 1.0 是面向科研型 Agent 的开源基础模型家族,有 35B(每 token 激活 3B 参数)和 122B(激活 10B 参数)两个尺寸,均为 MoE 架构,分别基于 Qwen3.6-35B-A3B 和 Qwen3.5-122B-A10B 微调而来。

据论文报告,122B 版在 Humanity's Last Exam(HLE,公认最难的通用推理基准之一)上拿到 59.0 分,在 FrontierScience 的 Olympiad 和 Research 两项上分别拿到 87.0 和 66.7 分;35B 版在 SEAL-0 上拿到 62.2 分,是对比表中该项最高分。35B 的小模型在几个研究类基准上超过了 GPT-5.5、Gemini 3.1 Pro 等闭源模型,122B 则在 FrontierScience Research 上超过了 GPT-5.6 Sol(据报道为 63.3 分)。

更重要的是发布方式:训练代码、数据构建代码、提示词、评测脚本全部开源(GitHub: bytedance/axion1_0,Apache 2.0),训练数据也放上了 Hugging Face。这在"只开源权重、不开源做法"的当下,显得格外彻底。

三段式配方:把复杂留给数据

Axion 的核心主张是:把复杂度放进数据,而不是放进训练流程。整个配方只有三段,没有中间训练、没有 DPO、没有在线蒸馏这些常见的"重型操作"。

第一阶段:学会推理。用 10,819 条科学和数学推理轨迹做 SFT。团队拿公开种子题改写成更难题——组合、参数化、改数值范围,改完逐一验证答案,难度"对着基座模型的能力"来调,模型会做的题就改得更难。论文称之为"模型感知的数据构建"。

第二阶段:学会查资料。用 7,544 条轨迹、约 3.12 亿 token。流程是反过来的:先从 NASA 系外行星档案、OpenAlex、UniProt 等结构化数据库里用程序锁定实体并算出标准答案,然后才让 LLM 根据答案反写问题。这样构造的问题天然具备可验证的答案——而这正是强化学习最需要的性质。同时,不用检索就能答出的问题会被直接剔除,逼着模型必须动用工具。

第三阶段:强化学习。从第二阶段 checkpoint 出发,用异步 GRPO 做 Agent 交互式 RL,工具包括搜索、访问网页、学术检索和 Python 执行。答对得满分,可验证的中间进展可得部分分。工程上有两个细节:Token-In-Token-Out 保证 rollout 与训练阶段的 token ID 完全一致,Rollout Routing Replay 对齐 MoE 的专家路由——都是为了让"训"与"用"不脱节。

数字怎么读:强,但要打折看

亮点很实在:35B 模型只有 3B 激活参数,却在研究类任务上与大得多的闭源模型掰手腕,说明 Agent 能力未必与参数规模线性绑定,任务针对性的数据和 RL 可能比单纯堆规模更划算。而且社区复现版 35B 在 HLE 上跑出 52.8 分,与论文的 52.2 分基本一致——配方是真的能被别人跑通的,这比分数本身更有说服力。

但也要冷静地打几个折。第一,HLE 的 59.0 分是在"受限网站访问"条件下测得的,而 HLE 的答案恰恰可能通过网络泄露;不设限时据报道 122B 为 64.8 分,两种设定不可直接比较。第二,分数是多次运行取最优(多数基准取 3 次最好的一次),而非平均值。第三,对比表本身不均匀,不少单元格是空的,部分基线由 Axion 团队自己复测,项目页也提醒"基线评估设置可能不同";在 HLE 总榜上 Claude Fable 5 的 63.8 分仍领先一截,闭源模型在最难的通用基准上依然占优。第四,基准只覆盖科研推理和信息检索,不覆盖编程 Agent、长程计算机操作等场景,不能据此推断它在这些场景同样能打。

成本与开源成色

据作者报告,在 32 张 GPU 上,两阶段 SFT 的 35B 版总计约 90 GPU 小时,122B 版约 240 GPU 小时;RL 阶段 122B 约 15 小时。也就是说,一个小团队用几百 GPU 小时就能复现一个有竞争力的科研 Agent。对照来看,几天前 Thinking Machines 发布的 Inkling 2 Small 据报道用了 2048 张 GPU 做 9 天 RL、1700 万次 rollout。两条路线摆在一起,恰好说明了当前 Agent 训练的分化:一边是"大力出奇迹",一边是"数据做精、流程做简"。

但开源的成色需要如实说明:122B 的官方权重目前并没有确认放出。Hugging Face 上能下载的 35B 明确标注为"社区复现版,非官方 checkpoint",多家信源核查后也未找到 122B 的权重链接。不过多数开源发布给的是权重和模型卡、数据 pipeline 仍是黑箱,Axion 给的是从数据生成、过滤、提示词到评测的完整链条——对研究者而言,可复现的配方比现成的权重更有长期价值。

我的观点

Axion 真正值得关注的不是某一个分数,而是它验证的一个判断:Agent 能力的瓶颈正在从"模型规模"转向"任务数据的可验证性"。"先算答案、再写问题"的构造方式,本质上是把 RL 最喜欢的那种任务——答案确定、过程可查、作弊可防——批量生产出来。这条路一旦走通,可以复制到任何拥有结构化数据库的领域:法律、金融、生物、工程……任何"有标准答案的数据库"都能变成 Agent 的训练场。

质疑同样成立:它站在 Qwen 基座的肩膀上,离开好的基座配方能剩几成效果仍是未知数;评测集中在科研场景,离"通用 Agent"还差几步。但即便如此,Axion 至少证明了一件事——开源社区不需要等闭源实验室施舍权重,自己动手也能做出接近前沿的 Agent 模型。接下来值得盯的只有两件事:独立第三方评测能否复现论文分数,以及 122B 的官方权重会不会真的放出。前者决定它是不是"又一个自说自话的榜单",后者决定它能不能从一篇论文变成一个生态。

结语

Axion 1.0 像一次克制的宣言:不用堆算力、不用玩花活,把数据做扎实,一个 1.8 万条样本、三段式流程的简单配方,也能在最难的科研推理基准上逼近闭源巨头。Agent 时代的竞争,正在从"谁的模型更大"转向"谁的数据更可验证、配方更可复现"。这对开源社区是好消息——因为后者,恰恰是人人都能参与的游戏。


信源:论文 arXiv:2611.03233;项目页 axion1-0.github.io;GitHub bytedance/axion1_0;Hugging Face Axion1-0/Axion-1.0-35B 模型卡;ExplainX 11 月 4 日分析文章;Bam's AI Brief 2026-11-04。基准分数均为作者自报,未经独立验证;122B 权重发布状态以官方仓库为准。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。