CANN首个训练样例仓库来袭!手把手带你玩转Qwen RL训练,揭秘DeepSeek-R1 RL训练性能优化之道!

举报
昇腾CANN 发表于 2025/10/28 08:43:57 2025/10/28
【摘要】 在大模型技术飞速发展的当下,LLM(大语言模型)与多模态模型训练已成为 AI 领域创新的核心驱动力。然而,开发者在实际训练过程中,常常面临模型适配难、算法优化复杂、硬件资源利用率低等难题。为了方便广大开发者使用昇腾环境进行大模型的微调、续训,即将开源的cann-recipes-train仓库,针对LLM与多模态模型训练业务中的典型模型、算法,提供基于CANN平台的优化样例,帮助开发者简单、快...

在大模型技术飞速发展的当下,LLM(大语言模型)与多模态模型训练已成为 AI 领域创新的核心驱动力。然而,开发者在实际训练过程中,常常面临模型适配难、算法优化复杂、硬件资源利用率低等难题。

为了方便广大开发者使用昇腾环境进行大模型的微调、续训,即将开源的cann-recipes-train仓库,针对LLM与多模态模型训练业务中的典型模型、算法,提供基于CANN平台的优化样例,帮助开发者简单、快速、高效地使用CANN平台进行模型训练。cann-recipes-train仓首批将上线两个基于verl框架的强化学习训练样例,网络分别是Qwen2.5DeepSeek-R1-671B。

Qwen2.5 RL训练样例:基于 Qwen2.5-1.5B-Instruct 模型,采用 verl 强化学习框架,在 MATH-lighteval 数学推理数据集上进行了训练。样例最低只需要单卡Atlas A2环境即可运行,方便开发者低成本上手复现。作为使用昇腾环境进行RL训练的hello world,该样例操作步骤详尽,并提供了使用swanlab、tensorboard等工具进行可视化跟踪的指导。

DeepSeek-R1-671B RL训练优化实践基于开源 verl框架,搭配 MindSpeed+vLLM-Ascend 框架,在 Atlas A3 集群实现 GRPO 算法的高吞吐 RL 训练,当前样例在1K推3K序列场景下,实现了120TPS/卡的系统吞吐。

cann-recipes-train 仓不仅提供了可直接复用的代码参考,还公开了DeepSeek-R1-671B RL训练优化实践的详细技术文档,分别对模型间调度、训推切换、训练及推理等核心环节优化思路和方法进行解读,让开发者可以深入了解优化背后的原理,真正做到知其然且知其所以然:

AE01E9D5-3CD0-4142-869D-72943B423CA4.png


好消息不止于此!为了让开发者能在实战中更好地理解和运用cann-recipes-train仓所提供的优化思路和方法周我们将进行一场主题为 “cann-recipes-train 开源介绍与优秀实践” 的 Meetup 专场直播 在这场直播中,专家将从两大核心维度展开分享:

  • 全面介绍cann-recipes-train 仓开源的内容以及未来的发展规划,让开发者对仓库有更清晰、全面的认识。同时介绍作为RL训练hello world的Qwen2.5-1.5B训练样例。

  • 深入讲解 DeepSeek-R1-671B模型的 RL 训练全流程优化实践样例,涵盖推理、训练、训推调度等各个关键阶段,通过实际案例的拆解,为开发者提供可借鉴的实战经验。

如果您在 cann-recipes-train 仓库使用、大模型 RL 训练优化等方面有任何疑问,都可以在本文评论区留言提问。后台工作人员会及时收集大家的问题,并在专场直播中由专家进行集中解答,为您扫清技术障碍。

关注昇腾CANN公众号,及时获取直播时间与观看链接,锁定这场精彩直播,一起探索大模型训练的高效之道!

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。