云社区 博客 博客详情

千亿模型训练—盘古β大模型

泰坦 发表于 2021-04-30 18:08:18 2021-04-30
0
1

【摘要】 什么是大模型 如何训练大模型 数据并行 模型并行 管道并行 其他小功能 容灾 弹性训练 训练技巧 无监督预训练 下游任务(CLUE)finetune PET(Pattern-Exploiting Training) 分布式推理 最后在4月25日的华为HDC大会上, 余总和田奇老师发布了盘古AI大模型,作为参与了盘古项目的开发人员,也来凑个热闹,简单介绍一下盘古项目,如下图:NLP大模型其实...

在4月25日的华为HDC大会上, 余总和田奇老师发布了盘古AI大模型,作为参与了盘古项目的开发人员,也来凑个热闹,简单介绍一下盘古项目,如下图:

NLP大模型其实有两个,α和β。α已经开源gitee链接,它是基于GPT-3结构的网络,主打生成类任务。β是基于Transformer结构的网络,更擅长理解类任务,田其老师台上互动的就是β,CLUE打榜的也是β。

我参与的是β,非开源项目,公司准备进行商业化,具体细节需要保密,只能简单介绍一下盘古β。

什么是大模型

  • 网络参数大

    千亿参数: 100000000000*4(float32)/1024^3=381.5GB

    在盘古β中, 实际参数量约为400G, 使用Adam优化器, 总参数量约为1.2T, 在2048卡训练下, 因为有一些冗余信息, 保存的ckpt实际大小为830M。

  • 训练资源大

    使用数千张昇腾910训练1月以上。

  • 训练数据大

    原始数据40T, 处理后数据600G。

实际上最重要的是要有钞能力。

如何训练大模型

大模型的困难,实际难在工程。我们使用华为云机器学习平台ModelArts + 机器学习框架mindspore + AI处理器昇腾910进行开发。为了支撑大模型项目,mindspore的小伙伴开发了非常多的新特性,如优化器模型并行,管道并行等,具体信息可以查看我们总架金雪锋的答案

下面借鉴一下立交桥跳水冠军的帖子,简单介绍一下并行技术,及盘古β如何运用它们的。

数据并行

数据并行(DP)是应用最广的并行策略,对在多个设备上部署深度学习模型非常有用。但该方法存在缺陷,如随着训练设备数量不断增加,通信开销不断增长,模型统计效率出现损失等。如下图所示,数据并行中每个分布式节点存储相同的参数(parameters),input的数据不一样。由于盘古β使用了Adam优化器,会占用非常多的静态内存,所以batch size开不大。使用数据并行,相当于扩大了batch size。

模型并行

单卡无法容纳全量参数, 需要把模型参数切分到每个不同的卡上。分布式节点储存不同的参数,但是他们的input往往是相同的。

在盘古β中,所有参数为1.2T,每张910卡实际可用HBM为31G,理论算出最少需要40张卡。由于HCCL等限制,实际最少需要64卡进行训练。可以选择32模型并行,2数据并行,或者64模型并行。

管道并行

大规模分布式训练, 计算通信耗时长. 使用管道并行, 加速训练(X2)。

前面的模型并行,只是对模型的参数进行了切分,管道并行是对网络进行切分,每张卡只创建一个子网络,再通过流水线的方式组合起来。

以上图为例,4个节点将5层的网络进行了切分,每个节点只创建一个子网络。节点的执行序如下图所示:

每个节点接收前一个节点的输出,计算完成后再把输出传递给下一个节点。当最后一个stage完成计算后,便开始计算反向,grads由最后一个节点一层层传递到第一个节点,最后完成参数更新,再进行下一个step。

盘古β由encoder+decoder结构组成,两者共用一个Embedding层。在管道并行下,需要把Embedding层从第一个stage一直传递到第一个Decoder所在的stage,在此stage对target_ids计算嵌入,再送入Decoder中进行计算。而所有Decoder都会用到Encoder的输出来计算cross attention,所以我们对Decoder做了改造,使其接收Encoder输出的同时,再把此Encoder的输出传递给下一层Decoder。

在盘古β中,我们把整个模型切分成了16个stage,最后执行速度比非管道并行快1倍。

其他小功能

容灾

由于采用大集群进行训练,难免会发生硬件,软件方面的问题,造成训练终止。我们开发了容灾功能,会把每张卡使用的参数保存成ckpt,上传到ModelArts的NAS硬盘上。继续训练时每张卡只需要下载对应的ckpt加载,便可以继续训练了。在盘古β中,从任务创建后,每台机器都需要下载完整数据集到本地,每张卡的训练进程都需要下载一个ckpt进行加载,再进行图编译,最后真正训练跑起来需要2小时左右。

弹性训练

由于资源较为紧张,项目开始仅有1024卡进行训练,当剩余资源到位后,我们调整了并行策略,然后手动拆分ckpt,再进行继续训练。

当预训练完成后,finetuen会使用128或256卡进行训练,此时又需要手动合并ckpt,再进行训练。

拆分合并ckpt需要理解Tensor在不同并行策略下的排布,及策略改变后如何变换Tensor,保证每一张卡获取到对应的Tensor切片。

训练技巧

无监督预训练

盘古β采用了Masked Language Model方法进行预训练,即在输入句子中随机mask掉15%的词,模型预测mask掉的token。

下游任务(CLUE)finetune

使用multi_task方法(无监督数据集,CLUE数据集无监督数据集,CLUE数据有监督数据集)进行第一次finetune。这里使用的是CLUE所有下游任务的数据集。如无监督数据集A条,CLUE数据集无监督数据集B条,CLUE数据有监督数据集C条。

当第一次finetune的loss达到预期后,再针对单独的下游任务,使用有监督数据集进行finetuen。

PET(Pattern-Exploiting Training)

任务转换:不再直接对label进行预测,而是预测其label description,即将其转换为完形填空形式的任务,来预测不同label description的概率,例如:

一个样本为“context:’「天天特价房」华庭仁和国际 3室2厅2卫仅售65万’, label: ‘房产’”

转换为如下形式:

“以下是一则 房产 相关新闻标题: 「天天特价房」华庭仁和国际 3室2厅2卫仅售65万"

分布式推理

在大部分CLUE任务中,decoder只需要推理1步,但一些生成任务会推理多步。由于图编译会把decoder的循环部分完全展开,故我们在这里进行了改造,把整个网络拆分成了Encoder+Decoder两个网络,decoder的多步推理放在python层进行。

管道并行推理比较复杂,训练时使用上千张卡,推理时仅使用32卡。训练时整个网络分成了16个stage,推理时encoder分成4个stage,decoder分成4个stage,每张卡既有encoder,也有encoder。由于管道并行网络的特殊性,只有第一个stage需要真正的输入,只有最后一个stage才有真正的输出。不同的stage是跨机器的,就需要把encoder的输出传递给decoder,这里我们创建了Send,Recv网络进行发送,接收。

最后

因为项目是非开源的,无法描述更多细节,待盘古β正式商用,大家可以多多体验。

当前盘古β使用的mindspore有些特性是新开发的,目前还在努力开发,预计不久这些新功能就会正式合入mindspore的master,华为云ModelArts也经过了此次大模型的考验,沉淀了一些能力,将来也会上线一些大模型的新功能,请大家拭目以待。

登录后可下载附件,请登录或者注册

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:huaweicloud.bbs@huawei.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
评论文章 //点赞 收藏 1
点赞
分享文章到微博
分享文章到朋友圈

评论 (0)


登录后可评论,请 登录注册

评论