让 AI 给 AI 写 GPU 内核：Together Compiler 把新模型的推理优化从“数周”压到“一夜”

11 月 4 日，Together AI 发布 Together Compiler：用多个 AI Agent 团队自动改写其服务模型背后的 GPU 代码，声称新开源模型“一夜之间”就能变快。

一、问题：推理优化跟不上模型迭代

OpenRouter 上 80% 的流量流向最近三个月发布的模型，最热门的十个开源模型各用不同架构。人工调优内核需要数周，官方称每当新模型或新芯片出现，GPU 利用率的差距就会重新打开。

二、核心难点：Agent 改代码容易，验证很贵

传统系统中单次 Agent 编辑在推理引擎里验证最长可达 15 分钟。Together 称其实验数量是现有系统的 252 倍，24 小时内即可得到最先进的优化并部署到生产（日服务万亿级 token）。具体机制需看论文。

三、官方给出的结果

• Kimi K3、GLM 5.3：峰值吞吐为 InferenceX 最佳成绩的 1.5 倍、1.4 倍。
• Llama 1B：超 2,100 tokens/s，最高为手写 megakernel 的 1.8 倍（H100 与 B200）。
• MiniMax M3.1 Flash 在 B200 上 1,066 tokens/s（基线 1.5 倍）；DeepSeek v4.1 Flash 在 GB300 上 1,163 tokens/s（1.2 倍）。
• 客户 Phonic 称首次出声中位时间下降近 50%。

四、“多态推理”

Together 称之为 Polymorphic Inference 的第一步：基础设施随模型、负载、硬件持续自适应。

对开发者意味着什么

• 托管开源模型的性能红利可能几天内到位。
• 内核调优正从专家手艺变成可搜索的优化问题，前提是有可自动验证的基准。
• 以上均为厂商自测；“基线”定义、精度与输出质量是否一致都需看论文。新闻稿写“最高 3x”，搜索摘要为“2.6x”，口径不一。
• AI 改写内核的数值正确性是关键风险。
• 目前为有限 Beta，自助访问即将推出。

结语

价值在思路：把推理优化变成持续运行的 Agent 流水线。独立复现之前，这些加速比都只是待验证的厂商声明。