作者小头像 Lv.1
更多个人资料
20 成长值
0 关注
0 粉丝
+ 关注 私信

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

暂无数据
个人勋章
TA还没获得勋章~
成长雷达
20
0
0
0
0

个人资料

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

暂无数据

达成规则

以上满足项可达成此勋章

  • 博客
  • 关注
  • 粉丝
  • 论坛
全部时间
全部时间
最近三天
最近一周
最近一月
  • 全部
  • 暂无专栏分类
MindSpeed大模型训练前置知识之大并行加速算法
MindSpeed大模型训练前置知识之大并行加速算法 并行为什么对大模型训练这么重要？从chatgpt大模型爆发，尤其因规模定律作用下，大模型展现出涌现能力，AI模型的天花板被一步步摸高。大模型规模定律与模型参数量、训练数据量、算力大小呈幂律正相关性。大模型训练过程中需要面对“模型参数量大、训练数据量大、算力量有限”的挑战，大模型参数量由十亿到百亿、千亿甚至万亿的增长量级，同时预训练数据量...
机器学习
作者小头像 yd_281046173 2024-12-20 17:12:47
1444
0
0
2024-12-20 17:12:47
999+
0
0
昇腾MindSpeed-LLM全流程实践及踩坑记录
昇腾MindSpeed-LLM全流程实践及踩坑记录我们都知道大模型训练是一个非常复杂的过程，大模型军备竞赛下如何控制训练成本成为各大模型训练方尤为关注的问题。大模型的训练通常面临内存、计算、通信等压力，如何在有限的资源下尽可能提升大模型训练效率成为关键。介绍MindSpeed-LLM之前，首先介绍下MindSpeed，它是专门面向昇腾的大模型训练加速库。 1、 MindSpeed-LLM简...
昇腾
作者小头像 yd_281046173 2024-12-20 16:26:48
16241
0
0
2024-12-20 16:26:48
999+
0
0
https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=0&rsv_idx=1&tn=baidu&wd=sed%20%E6%9B%BF%E6%8D%A2%E5%AD%97%E7%AC%A6%E4%B8%B2&rsv_pq=c7db61a600035dc5&rsv_t=5e19yEsbV9N5fIvdlGRU
作者小头像
作者小头像
快速交付
+ 关注