昇腾 NPU 上跑 MindSpore:和 GPU 训练的几个实际差异
国产算力这两年推进得很快,手上有个图像分类的项目想试试昇腾。记录一下从 CUDA 迁到 CANN 的过程中,哪些代码要改、哪些不用改。
环境先搞清楚
昇腾的软件栈分几层:
应用层 MindSpore / PyTorch (通过 torch_npu)
↓
框架层 CANN(类似 CUDA 的角色)
↓
驱动层 NPU 驱动 + 固件
↓
硬件层 Ascend 310(推理)/ 910(训练)
CANN 是关键。它提供算子库、编译器、运行时,地位等同于 CUDA。版本要和驱动、框架匹配,装错了会各种奇怪的错误。
云上用的话,ModelArts 有预装好的镜像,省掉环境配置的麻烦。自己装的话,按官方文档一步步来,版本对应表一定要看。
MindSpore 和 PyTorch 的写法差异
MindSpore 是华为自研的框架,API 设计和 PyTorch 有明显不同。
网络定义
PyTorch:
class Net(nn.Module):
def __init__(self):
super().__init__()
self.conv1 = nn.Conv2d(3, 64, 3)
self.fc = nn.Linear(64, 10)
def forward(self, x):
x = self.conv1(x)
x = x.view(x.size(0), -1)
return self.fc(x)
MindSpore:
import mindspore.nn as nn
class Net(nn.Cell):
def __init__(self):
super().__init__()
self.conv1 = nn.Conv2d(3, 64, 3)
self.fc = nn.Dense(64, 10)
def construct(self, x):
x = self.conv1(x)
x = x.view(x.shape[0], -1)
return self.fc(x)
差别:
- 基类是
nn.Cell不是nn.Module - 前向方法是
construct不是forward - 全连接层是
nn.Dense不是nn.Linear
训练循环
PyTorch 是显式循环:
for data, label in loader:
out = model(data)
loss = criterion(out, label)
optimizer.zero_grad()
loss.backward()
optimizer.step()
MindSpore 有两种写法。函数式更接近 PyTorch:
def forward_fn(data, label):
logits = model(data)
loss = loss_fn(logits, label)
return loss, logits
grad_fn = mindspore.value_and_grad(forward_fn, None, optimizer.parameters, has_aux=True)
for data, label in loader:
(loss, _), grads = grad_fn(data, label)
optimizer(grads)
图模式用 Model 高阶 API:
model = ms.Model(network, loss_fn, optimizer, metrics={"accuracy"})
model.train(epochs, dataset)
图模式性能更好(能整图编译优化),但调试困难——报错信息经常指向编译后的图,不是你的源码行。
建议:先用函数式 + PYNATIVE 模式(动态图)调通,再切 GRAPH 模式提性能。
from mindspore import context
context.set_context(mode=context.PYNATIVE_MODE, device_target="Ascend")
数据加载
MindSpore 的 Dataset 是流水线式的,和 PyTorch 的 DataLoader 思路不同:
import mindspore.dataset as ds
import mindspore.dataset.vision as vision
import mindspore.dataset.transforms as transforms
dataset = ds.ImageFolderDataset(data_dir, decode=True)
trans = [
vision.Resize(256),
vision.CenterCrop(224),
vision.ToTensor(),
vision.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]),
]
dataset = dataset.map(operations=trans, input_columns=["image"])
dataset = dataset.batch(32, drop_remainder=True)
优势是数据加载和计算能并行(流水线),劣势是调试麻烦——map 里的错误堆栈不太好读。
实际遇到的坑
坑一:算子不支持
用了某个比较新的激活函数,PyTorch 有,MindSpore 没有。报 Can not find op。
解决办法:用基础算子组合实现,或者从社区找实现。
迁移前建议先查一下「算子支持列表」,避免做完发现关键算子没有。
坑二:动态 shape 性能差
昇腾擅长静态 shape。如果 batch size 每批都不一样,会频繁重编译,性能暴跌。
解决:固定 shape(drop_remainder=True),或者用动态 shape 分档(把 shape 分成几个档位,每档编译一次)。
坑三:显存(HBM)管理不同
NPU 的内存管理策略和 GPU 不一样。PyTorch 那套 torch.cuda.empty_cache() 在 NPU 上要换成对应的接口。
OOM 的报错信息也不一样,要会看 npu-smi info 的输出。
npu-smi info
能看到每张卡的 HBM 使用率、温度、功耗。
坑四:多卡训练启动方式不同
PyTorch 用 torchrun 或者 DistributedDataParallel,MindSpore 用 mpirun 或者 msrun:
msrun --worker_num=8 --local_worker_num=8 --master_port=8118 train.py
环境变量和 rank 的获取方式也有差异,直接从 PyTorch 脚本迁会出错。
PyTorch 能直接跑吗
可以。华为提供了 torch_npu 插件,装完之后 PyTorch 代码基本不用改:
import torch
import torch_npu
device = torch.device("npu:0")
model = model.to(device)
data = data.to(device)
理论上把 cuda 换成 npu 就行。
实际:
- 大部分算子支持,少数需要替换
- 分布式训练的接口有差异
- 某些第三方库(比如自定义 CUDA kernel)不能用
对已有 PyTorch 项目,torch_npu 是成本最低的迁移路径。新项目可以考虑直接用 MindSpore(生态更原生,但学习成本高)。
性能对比
我测的场景:ResNet50,ImageNet 子集,单卡。
| 卡 | 吞吐(img/s) | 单 epoch 耗时 |
|---|---|---|
| V100 32G | 1250 | 42 min |
| Ascend 910B | 1180 | 45 min |
差距在 5% 以内,基本持平。
但要注意:这个结果依赖算子都支持、shape 固定、batch size 合适。如果踩到不支持的算子或者动态 shape,性能可能差好几倍。
值不值得迁
值得:
- 有算力自主可控要求
- 云上昇腾实例价格比同规格 GPU 便宜
- 项目用的都是主流算子
不值得:
- 项目依赖大量自定义 CUDA 算子
- 需要最新的模型结构(生态跟进有延迟)
- 团队没有精力折腾环境
小结
昇腾的软件栈成熟度已经够用,但和 CUDA 生态比还是有差距——主要是「遇到问题时能搜到的资料少」。
迁移的关键判断:先查算子支持列表。这一步能省掉后面 80% 的坑。算子都在,迁移就是改改 API;关键算子缺,那就是无底洞。
性能上不用太担心,主流模型能跑到和 GPU 相当的水平。
- 点赞
- 收藏
- 关注作者
评论(0)