当“直线”开始弯曲：翁荔给Scaling Laws的一盆冷水

翁荔这篇迟到三年的长文，与其说是对Scaling Laws的否定，不如说是对一种行业集体惰性的清算。 核心结论并不悲观，却足够刺耳：那条支撑了数百亿美元投入的“直线”，在现实的数据约束与工程细节面前，远比教科书上脆弱。

文章最精彩的拆解，在于揭开了Kaplan与Chinchilla之争的“伤疤”。2020年OpenAI断言模型该比数据涨得快，直接催生了“训练不足”的GPT-3；两年后DeepMind用Chinchilla证明两者应等比增长。翁荔指出，Kaplan的偏差源于实验规模太小且统计口径不同，而更讽刺的是，Chinchilla那条被全行业照抄的最优配比，后来被发现代码里损失函数取了均值而非求和，导致优化器提前误判收敛。这意味着，许多模型所谓的“最优训练”，从一开始就跑偏了。

更深层的警示在于“数据墙”。经典公式默认数据无限且不重复，但翁荔援引的研究表明，重复数据的边际价值呈指数衰减。她给出了一个直观的修正模型：将总Token拆分为唯一数据与重复次数，重复部分的价值按“半衰期”打折。这解释了为何单纯堆Epoch无法弥补高质量数据的枯竭。

翁荔最后那句判断值得刻在每一块GPU上：Scaling Laws不是物理定律，而是对工程细节高度敏感的观测性指南。 当行业集体转向强化学习与合成数据时，这篇文章提醒我们：继续外推那条直线之前，先看清脚下的拟合曲线是否早已弯曲。