MindSpore1.8新版本体验MindSpore Transformer

• 听说1.8版本增加了大模型，Transformer。感觉更新一下去体验一下。昇思MindSpore v1.8重磅发布啦，几行代码带您玩转Transformer大模型，实现高性能训练！
• 目前Transformer已经广泛地应用在深度学习的各个领域，为了结合昇思丰富的并行能力和高性能优化特性，让开发者能够轻松上手Transformer类网络训练，MindSpore Transformer是一个开源的Transformer类网络训练和推理套件。

官方公布昇思MindSpore1.8版新特性

• 发布了MindSpore Golden Stick，提供丰富的模型压缩算法；
• 开源大模型训练套件MindSpore Transformer、推荐网络训练套件MindSpore Recommender，帮助开发者实现高性能的模型并行训练和推荐网络大模型训练；
• 持续升级自定义算子能力，实现多平台的统一算子开发表达；
• 统一图像处理类接口、提供model.fit高阶API和早停功能，不断提升API接口易用性；
• 新增180多个算子的functional接口，并支持NPU、GPU、CPU平台，方便开发者调用。

更新MindSpore到新版本1.8.1

• 查看旧版本

conda env list
conda activate py39_ms18

pip list

• 更新版本

# 指定版本
pip install --upgrade mindspore==1.8.1
# 最新稳定版本
pip install --upgrade mindspore

C:\Users\sunxiaobei\.conda\envs\py39_ms18\python.exe -m pip install --upgrade pip

MindSpore Transformer

MindSpore Transformer套件的目标是构建一个大模型训练、推理、部署的全流程套件： 提供业内主流的Transformer类预训练模型， 涵盖丰富的并行特性。 期望帮助用户轻松的实现大模型训练。

1、**多维度混合并行，包含优化器并行、多副本并行等技术。**通过优化数据并行维度上的冗余参数和通信计算并发，可有效提升网络的训练性能。

2、图算融合优化：昇思的图算融合功能可以自动实现算子融合和编译优化，提升模型的内存效率和训练速度。在MindSpore Transformer的所有模型和数据/模型并行模式下，图算融合均已大范围应用并取得了显著效果。

下载代码

• https://gitee.com/mindspore/transformer
  

• 从代码中可以看出，官方已经实现了GPT、OPT和BERT。今天我们体验一下GPT。

• 确认了一下，完完，自己的本子没法跑，还是切换到服务器吧

数据集

• OpenWebText数据集，数据集12GB，有点大
• 使用Brown University处理后的版本，https://skylion007.github.io/OpenWebTextCorpus/ , Download

wget https://doc-14-8c-docs.googleusercontent.com/docs/securesc/fm3kvcun5stvq0dfln5sm9teg2r54hrg/sqe0lb8aisok78uub3fl0n3tjr0c2333/1661527950000/15405531314755732097/13330606815612409537Z/1EA5V0oetDCOke7afsktL_JDQ-ETtNOvx?e=download&uuid=b7dcbbca-9aba-43c1-8c32-44d85a66ede1

• zhwiki网址：https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2

wget https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2

• 切换环境

#切换环境
conda activate py39_ms18

• 执行命令，开始训练

#bash examples/pretrain/pretrain_gpt.sh DEVICE_ID EPOCH_SIZE DATA_DIR
bash examples/pretrain/pretrain_gpt.sh 0 40 C:\Users\sunxiaobei\Desktop\GPT

• 数据集太大，自己的服务器和本子都装不下啊，看看后面大模型的活动能不能体验一下。

心得体会

• MindSpore1.8新版本的新特性当属大模型MindSPore Transformer，Transformer已经广泛地应用在深度学习的各个领域，MindSpore Transformer结合了昇思丰富的并行能力和高性能优化特性，是一个开源的Transformer类网络训练和推理套件。
• 毕竟是大模型，小小的本子根本放不下，连数据集都很费劲，希望后续可以借助华为云提供的资源和环境体验一下大模型。这次主要实践了MindSpore更新到最新版本MindSpore1.8.1, 下载了大模型MindSPore Transformer的源代码进行学习。

参考：

• https://www.mindspore.cn/install
• https://gitee.com/mindspore/transformer
• https://gitee.com/mindspore/omni-perception-pretrainer
• https://www.mindspore.cn/news/newschildren?id=1721
• https://www.mindspore.cn/docs/zh-CN/r1.8/index.html