解决大模型“开发难”,MindSpore自动并行技术应用实践 解决大模型“开发难”,MindSpore自动并行技术应用实践
几年来,模型参数规模呈指数增长趋势;另一方面,可供模型训练的数据集也急速扩增。面对如此大数据量、大规模参数,单个设备的训练已经无法满足,因此需要引入分布式训练技术。昇思MindSpore提供了多种高级特性来支撑大模型分布式训练,供用户根据的需求进行灵活组合。本次直播课程中,我们会介绍常用的分布式并行训练技术,以及如何将并行技术应用到大模型预训练中。
吕昱峰 华为昇思MindSpore DTSE技术布道师
MindSpore生态技术SE,研究方向为自然语言处理,长期从事MindSpore框架研发与模型开发工作,丰富的AI相关经验。
吕昱峰 华为昇思MindSpore DTSE技术布道师
MindSpore生态技术SE,研究方向为自然语言处理,长期从事MindSpore框架研发与模型开发工作,丰富的AI相关经验。
看直播,赢好礼
-
福利1:专家坐堂有奖
即日起-7月5日,在指定论坛贴提问,评选优质问题送华为云定制T恤。
-
福利2:互动有礼
官网直播间发口令抽送华为云定制飞盘,填写问卷抽送华为云定制无线鼠标等好礼。
观看直播的童鞋可以多多分享并参与哦~
-
福利3:有奖提问
直播过程中提问,评选的优质问题送华为云定制双肩包。
欢迎大家踊跃提问~
-
福利4:分享问卷有礼
邀请5位朋友以上完成问卷即可获得华为云定制棒球帽。
-
福利5:老观众专属
连续3期报名并转发直播海报+文案至朋友圈,抽送华为云DTT定制T恤。
每期参与后请将截图证明和报名的华为云账号,发送至小助手企业微信。
-
更多福利:加入微信交流群
直播期间扫码入群,解锁更多隐藏福利哦~
也可添加华为云小助手蛋花的企业微信进行咨询哦~