0. 前置条件 

华为云ANT1裸金属服务器，使用镜像Ubuntu 18.04 for V100 BareMetal. 镜像中NVIDIA驱动等均未安装。

本文旨在此机器上使用docker来运行GPU资源，并且运行pytorch。

1. 安装nvidia驱动

wget  https://us.download.nvidia.cn/tesla/525.125.06/NVIDIA-Linux-x86_64-525.125.06.run
chmod +x NVIDIA-Linux-x86_64-525.125.06.run
./NVIDIA-Linux-x86_64-525.125.06.run

2. 安装cuda

wget https://developer.download.nvidia.com/compute/cuda/12.0.0/local_installers/cuda_12.0.0_525.60.13_linux.run
chmod +x cuda_12.0.0_525.60.13_linux.run
sh cuda_12.0.0_525.60.13_linux.run
安装时取消勾选驱动

查看cuda版本

/usr/local/cuda/bin/nvcc -V

3. 安装docker

curl https://get.docker.com | sh && sudo systemctl --now enable docker

4. 安装nvidia容器插件

配置nvidia容器

distribution=$(. /etc/os-release;echo $ID$VERSION_ID) && curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg && curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

安装nvidia容器

apt-get update
apt-get install -y nvidia-container-toolkit
nvidia-ctk runtime configure --runtime=docker
systemctl restart docker

5. 方案验证：

拉取并启动镜像

docker run -ti --runtime=nvidia --gpus all pytorch/pytorch:latest bash

在容器中使用pytorch，可以看到cuda可以正常使用。