DeepSeekV2-lite 昇腾8卡训练实验指导

本实验指导共包含实验环境准备、训练数据集准备、模型权重准备和预训练4个部分。

1 环境准备

1.1 拉取镜像

本次实验使用的python环境来自昇腾官网提供的镜像，我们选择2024.rc3-arm版本的镜像环境。

点击“立即下载后”，会提示登录昇腾账号，登录后会出现拉取镜像的命令（第一次拉取镜像会提示用户填写申请资料）：

按照上述截图中的步骤执行命令，结果如下：

为了提升实验效率，也可以直接加载实验环境中提前准备的镜像：

sudo docker load < deepseek_train_image.tar

1.2 创建镜像容器

拉取镜像后，就可以基于镜像创建容器了，后续我们的实验就在容器环境中进行。创建容器的命令如下：

docker run -dit --ipc=host --network host --name 'jxl_llm_rc3' --privileged -v /usr/local/Ascend/driver:/usr/local/Ascend/driver  -v /usr/local/Ascend/firmware:/usr/local/Ascend/firmware  -v /usr/local/sbin/:/usr/local/sbin/ -v /home/:/home/ swr.cn-south-1.myhuaweicloud.com/ascendhub/mindspeed-llm:2024.rc3-arm

各参数的含义如下：

-dit：-d：后台运行容器；-i：交互模式；-t：分配一个伪终端。

--ipc=host：共享宿主机的 IPC 命名空间，允许容器访问宿主机的共享内存和信号量。

--network host：使用宿主机的网络栈，容器将直接使用宿主机的网络接口，无需网络隔离。

--name 'jxl_llm_rc3'：为容器指定名称 jxl_llm_rc3，方便后续管理。

--privileged：以特权模式运行容器，赋予容器几乎与宿主机相同的权限。

-v（挂载卷）：/usr/local/Ascend/driver:/usr/local/Ascend/driver：将宿主机的 /usr/local/Ascend/driver 挂载到容器中。

最后传的是镜像地址。

1.3 登录容器

docker exec -it jxl_llm_rc3 /bin/bash                           

最下面的fail不影响实验。

1.4 下载依赖三方件和源码仓

我们训练deepseekv2-lite所需要的脚本在mindspeed-llm仓库中，所以需要下载mindspeed-llm的代码。又因为mindspeed-llm依赖megatron-llm的代码和mindspeed的加速特性，所以还需要下载megatron-llm的和mindspeed的代码。

首先下载mindspeed-llm的代码：

git clone https://gitee.com/ascend/MindSpeed-LLM.git

然后下载megatron-llm的代码，并且复制megatron目录文件到mindspeed-llm中：

git clone https://github.com/NVIDIA/Megatron-LM.git  # 如果git下载失败，可以手动从github下载
cd Megatron-LM
git checkout core_r0.8.0
cp -r megatron ../MindSpeed-LLM/

最后下载mindspeed代码，并且在容器环境中用pip源码安装

git clone https://gitee.com/ascend/MindSpeed.git
cd MindSpeed
git checkout 9b3ad3fd928  # checkout commit from MindSpeed core_r0.8.0 in 2024.12.25
pip3 install -e .

2 训练数据集准备

由于hugging face下载网速较慢，我们选择从魔乐社区下载训练数据和权重。本实验选择用wiki数据集，下载页面如下：

由于需要使用git lfs下载，而镜像中又没有git lfs，所以我们需要手动安装。

2.1 安装git lfs

wget https://github.com/git-lfs/git-lfs/releases/download/v3.6.1/git-lfs-linux-arm64-v3.6.1.tar.gz

或者本地下载后上传到服务器。

tar xzf git-lfs-linux-arm64-v3.6.1.tar.gz
cd git-lfs-v3.3.0
sudo ./install.sh

2.2 下载wiki数据集

git clone https://modelers.cn/hold-ryue-in-hand/wikipedia.git

下载完的wiki数据集非常大，有134G，而我们实验只选用其中的一部分：wikipedia /20231101.ab/ train-00000-of-00001. parquet。

2.3 数据转换

我们还需要把parquet格式的数据转成mindspeed能够处理的数据格式，转换脚本在mindspeed-llm的这个目录： examples/mcore/deepseek2_lite/data_convert_deepseek2_lite_pretrain.sh

根据实际情况配置脚本中的input和tokenizer-name-or-path以及output-prefix，示例内容如下：

执行 bash examples/mcore/deepseek2_lite/data_convert_deepseek2_lite_pretrain.sh，结果如下：

可以看到转换后得到的数据格式包括bin和idx后缀：

.idx 文件是用于快速定位和索引 wiki 数据的结构，而 .bin 文件则包含实际的数据内容，例如经过编码的文本或嵌入向量等。这种格式的转换通常是为了优化数据的存储和读取效率，尤其是在处理大规模数据集时。

3 模型权重准备

3.1 下载权重

我们从魔乐社区下载deepseekv2-lite的权重：

git clone https://modelers.cn/edge-sky/DeepSeek-V2-Lite.git

3.2 权重转换

由于上面下载的权重是hugging face格式的，还需要转化成mindspeed-llm处理的格式。

由于用到了三方件tensordict，所以还需要安装：pip install tensordict

转换命令在 mindspeed-llm的examples/mcore/deepseek2_lite/convert_ckpt_deepseek2_lite_hf2mcore.sh 路径。需要根据实际情况修改load-dir、save-dir、tokenizer-model的值：

执行结果如下：

查看生成的权重文件夹，可以看到权重已经被切分了：

4 预训练

准备好训练数据和权重后，我们就可以执行预训练了，预训练脚本在mindspeed-llm的examples/mcore/deepseek2_lite/pretrain_deepseek2_lite_16b_ptd_8p.sh 路径下，需要根据实际情况填写CKPT_SAVE_DIR、DATA_PATH、TOKENIZER_MODEL、CKPT_LOAD_DIR，注意DATA_PATH要填写到bin文件和idx文件的前缀，TOKENIZER_MODE在转换之前的权重目录里面：

执行后，可以看到训练日志：

至此，deepseekv2-lite的8卡训练实验完成。