硬核数据:不是“快40%”,是“省37%时间”
【摘要】 为了验证Mashup Learning的有效性,研究团队在8个标准LLM基准测试、4种不同模型、两组历史checkpoint集合上进行了系统实验。 实验设置非常严谨:● 模型:Gemma-3 4B、Gemma-3 1B、Gemma-2 2B、Mistral-7B-Instruct-v0.2● 基准:8个常用的LLM评估数据集● 对比对象:从预训练权重开始的常规微调 核心结果如下:● 准确率提...
为了验证Mashup Learning的有效性,研究团队在8个标准LLM基准测试、4种不同模型、两组历史checkpoint集合上进行了系统实验。
实验设置非常严谨:
● 模型:Gemma-3 4B、Gemma-3 1B、Gemma-2 2B、Mistral-7B-Instruct-v0.2
● 基准:8个常用的LLM评估数据集
● 对比对象:从预训练权重开始的常规微调
核心结果如下:
● 准确率提升:Mashup Learning在目标任务上的平均准确率提高了0.5–5个百分点
● 训练步数减少:要达到与从零训练相同的准确率,Mashup Learning需要的训练步数减少了41–46%
● 总耗时降低:最关键的是——在8个基准测试和特定模型组合下,计入检索合并开销后,达到相同准确率所需的总耗时最高可减少37%。
论文摘要中明确写道:“包括所有选择和合并开销在内,Mashup Learning匹配从零训练准确率所需的总耗时减少了高达37%。”
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)