1. 进入CloudShell命令行终端

2. 创建并进入镜像目录

mkdir -p ~/custom-image/trainjob
cd ~/custom-image/trainjob

3. 执行wget命令下载镜像制作相关文件压缩包

wget https://sandbox-expriment-files.obs.cn-north-1.myhuaweicloud.com:443/20221019/trainjob_image.zip

unzip trainjob_image.zip

执行ls命令确认文件夹内容

ls trainjob_image

其中Dockerfile为构建镜像的文本文件，其余为镜像内需要预置安装的一些工具及依赖库

Dockerfile具体内容如下

# 容器镜像构建主机需要连通公网

# 基础容器镜像, https://github.com/NVIDIA/nvidia-docker/wiki/CUDA
# 
# https://docs.docker.com/develop/develop-images/multistage-build/#use-multi-stage-builds
# require Docker Engine >= 17.05
#
# builder stage
FROM nvidia/cuda:10.2-runtime-ubuntu18.04 AS builder

# 基础容器镜像的默认用户已经是 root
# USER root

# 使用华为开源镜像站提供的 pypi 配置
RUN mkdir -p /root/.pip/
COPY pip.conf /root/.pip/pip.conf

# 拷贝待安装文件到基础容器镜像中的 /tmp 目录
COPY Miniconda3-py37_4.12.0-Linux-x86_64.sh /tmp
COPY torch-1.8.1+cu102-cp37-cp37m-linux_x86_64.whl /tmp
COPY torchvision-0.9.1+cu102-cp37-cp37m-linux_x86_64.whl /tmp
COPY torchaudio-0.8.1-cp37-cp37m-linux_x86_64.whl /tmp

# https://conda.io/projects/conda/en/latest/user-guide/install/linux.html#installing-on-linux
# 安装 Miniconda3 到基础容器镜像的 /home/ma-user/miniconda3 目录中
RUN bash /tmp/Miniconda3-py37_4.12.0-Linux-x86_64.sh -b -p /home/ma-user/miniconda3

# 使用 Miniconda3 默认 python 环境 (即 /home/ma-user/miniconda3/bin/pip) 安装 torch*.whl
RUN cd /tmp && \
    /home/ma-user/miniconda3/bin/pip install --no-cache-dir \
    /tmp/torch-1.8.1+cu102-cp37-cp37m-linux_x86_64.whl \
    /tmp/torchvision-0.9.1+cu102-cp37-cp37m-linux_x86_64.whl \
    /tmp/torchaudio-0.8.1-cp37-cp37m-linux_x86_64.whl

# 构建最终容器镜像
FROM nvidia/cuda:10.2-runtime-ubuntu18.04

# 安装 vim / curl 工具（依然使用华为开源镜像站）
RUN cp -a /etc/apt/sources.list /etc/apt/sources.list.bak && \
    sed -i "s@http://.*archive.ubuntu.com@http://repo.huaweicloud.com@g" /etc/apt/sources.list && \
    sed -i "s@http://.*security.ubuntu.com@http://repo.huaweicloud.com@g" /etc/apt/sources.list && \
    apt-get update && \
    apt-get install -y vim curl && \
    apt-get clean && \
    mv /etc/apt/sources.list.bak /etc/apt/sources.list

# 增加 ma-user 用户 (uid = 1000, gid = 100)
# 注意到基础容器镜像已存在 gid = 100 的组，因此 ma-user 用户可直接使用
RUN useradd -m -d /home/ma-user -s /bin/bash -g 100 -u 1000 ma-user

# 从上述 builder stage 中拷贝 /home/ma-user/miniconda3 目录到当前容器镜像的同名目录
COPY --chown=ma-user:100 --from=builder /home/ma-user/miniconda3 /home/ma-user/miniconda3

# 设置容器镜像预置环境变量
# 请务必设置 PYTHONUNBUFFERED=1, 以免日志丢失
ENV PATH=$PATH:/home/ma-user/miniconda3/bin \
    PYTHONUNBUFFERED=1

# 设置容器镜像默认用户与工作目录
USER ma-user
WORKDIR /home/ma-user

cd trainjob_image

docker build . -t pytorch_trainjob:1.8.1-cuda10.2

编译过程约15分钟，编译完成，如下所示

1. 使用docker tag命令给上传镜像打标签

docker tag pytorch_trainjob:1.8.1-cuda10.2 swr.cn-north-4.myhuaweicloud.com/deep-learning-dcyang/pytorch_trainjob:1.8.1-cuda10.2

注意：请将上述命令中的“deep-learning-dcyang”替换成自己创建的SWR组织名

2. 使用docker push命令上传镜像

docker push swr.cn-north-4.myhuaweicloud.com/deep-learning-dcyang/pytorch_trainjob:1.8.1-cuda10.2

注意：请将上述命令中的“deep-learning-dcyang”替换成自己创建的SWR组织名

上传过程约5分钟，上传成功，如下所示：

可在SWR控制台主页进一步查看上传的镜像。

1. 服务列表搜索进入OBS控制台

2. 点击右上角“创建桶”按钮

3. 地区选择“北京四”，输入桶名称(桶名称不能重名，请改成自己的桶名称)，策略选择“公共读”，其余保持默认，然后点击“立即创建”：

创建完成，可在桶列表下看到创建的桶：

3. 点击进入桶，点击创建“文件夹”：

4. 分别创建“demo-code”、“log”两个文件夹

5. 将以下链接复制到浏览器地址栏，浏览器自动下载文件至本地：

https://sandbox-expriment-files.obs.cn-north-1.myhuaweicloud.com:443/20221019/pytorch-verification.py

测试代码内容如下：

import torch
import torch.nn as nn

x = torch.randn(5, 3)
print(x)

available_dev = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")
y = torch.randn(5, 3).to(available_dev)
print(y)

6. 进入“demo-code”文件夹

7. 点击“上传对象”

8. 点击“添加文件”

9. 选中之前下载的测试代码文件

10. 点击“上传”

完成后，可看到对应的文件

1. 进入ModelArts控制台

2. 点击“创建训练作业”

3. 名称描述信息

4. 选择自定义算法，自定义镜像

5. 指定代码目录

6. 设置启动命令：

/home/ma-user/miniconda3/bin/python ${MA_JOB_DIR}/demo-code/pytorch-verification.py

7. 选中“公共资源池”，“GPU规格”

8. 设置日志保存路径

9. 提交作业

提交完成，状态显示“等待中”

待状态显示“运行中”，可点击作业名称，查看具体详情