被浪费的“历史遗产”

在传统的微调流程中，我们是这样工作的：

1.  接到新任务A

2.  从预训练权重（如BERT、LLaMA）开始初始化

3.  在任务A的数据上训练

4.  保存checkpoint，然后……再也不打开

等到接到任务B，我们又重复上述流程，仿佛之前的训练从未发生过。

研究人员在论文中指出了这个显而易见的浪费：训练每个数据集都会产生一组新的模型权重，导致大量checkpoint被保存在本地或开源平台上。然而，这些训练产物很少被后续实验复用，尽管它们包含了针对潜在相似任务改进的模型能力。

一个惊人的数据：仅在Hugging Face Hub上，就有超过2000个微调版本的Llama 3.1-8B-Instruct模型。这些模型来自不同的任务、不同的领域、不同的开发者，但它们都被当作“展品”而非“原材料”。