昇腾 NPU 上跑 MindSpore:和 GPU 训练的几个实际差异

举报
yd_271063030 发表于 2026/11/13 00:03:52 2026/11/13
【摘要】 国产算力这两年推进得很快,手上有个图像分类的项目想试试昇腾。记录一下从 CUDA 迁到 CANN 的过程中,哪些代码要改、哪些不用改。 环境先搞清楚 昇腾的软件栈分几层: 应用层 MindSpore

国产算力这两年推进得很快,手上有个图像分类的项目想试试昇腾。记录一下从 CUDA 迁到 CANN 的过程中,哪些代码要改、哪些不用改。

环境先搞清楚

昇腾的软件栈分几层:

应用层    MindSpore / PyTorch (通过 torch_npu)
         ↓
框架层    CANN(类似 CUDA 的角色)
         ↓
驱动层    NPU 驱动 + 固件
         ↓
硬件层    Ascend 310(推理)/ 910(训练)

CANN 是关键。它提供算子库、编译器、运行时,地位等同于 CUDA。版本要和驱动、框架匹配,装错了会各种奇怪的错误。

云上用的话,ModelArts 有预装好的镜像,省掉环境配置的麻烦。自己装的话,按官方文档一步步来,版本对应表一定要看。

MindSpore 和 PyTorch 的写法差异

MindSpore 是华为自研的框架,API 设计和 PyTorch 有明显不同。

网络定义

PyTorch:

class Net(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 64, 3)
        self.fc = nn.Linear(64, 10)

    def forward(self, x):
        x = self.conv1(x)
        x = x.view(x.size(0), -1)
        return self.fc(x)

MindSpore:

import mindspore.nn as nn

class Net(nn.Cell):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(3, 64, 3)
        self.fc = nn.Dense(64, 10)

    def construct(self, x):
        x = self.conv1(x)
        x = x.view(x.shape[0], -1)
        return self.fc(x)

差别:

  • 基类是 nn.Cell 不是 nn.Module
  • 前向方法是 construct 不是 forward
  • 全连接层是 nn.Dense 不是 nn.Linear

训练循环

PyTorch 是显式循环:

for data, label in loader:
    out = model(data)
    loss = criterion(out, label)
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

MindSpore 有两种写法。函数式更接近 PyTorch:

def forward_fn(data, label):
    logits = model(data)
    loss = loss_fn(logits, label)
    return loss, logits

grad_fn = mindspore.value_and_grad(forward_fn, None, optimizer.parameters, has_aux=True)

for data, label in loader:
    (loss, _), grads = grad_fn(data, label)
    optimizer(grads)

图模式用 Model 高阶 API:

model = ms.Model(network, loss_fn, optimizer, metrics={"accuracy"})
model.train(epochs, dataset)

图模式性能更好(能整图编译优化),但调试困难——报错信息经常指向编译后的图,不是你的源码行。

建议:先用函数式 + PYNATIVE 模式(动态图)调通,再切 GRAPH 模式提性能。

from mindspore import context
context.set_context(mode=context.PYNATIVE_MODE, device_target="Ascend")

数据加载

MindSpore 的 Dataset 是流水线式的,和 PyTorch 的 DataLoader 思路不同:

import mindspore.dataset as ds
import mindspore.dataset.vision as vision
import mindspore.dataset.transforms as transforms

dataset = ds.ImageFolderDataset(data_dir, decode=True)

trans = [
    vision.Resize(256),
    vision.CenterCrop(224),
    vision.ToTensor(),
    vision.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]),
]
dataset = dataset.map(operations=trans, input_columns=["image"])
dataset = dataset.batch(32, drop_remainder=True)

优势是数据加载和计算能并行(流水线),劣势是调试麻烦——map 里的错误堆栈不太好读。

实际遇到的坑

坑一:算子不支持

用了某个比较新的激活函数,PyTorch 有,MindSpore 没有。报 Can not find op。

解决办法:用基础算子组合实现,或者从社区找实现。

迁移前建议先查一下「算子支持列表」,避免做完发现关键算子没有。

坑二:动态 shape 性能差

昇腾擅长静态 shape。如果 batch size 每批都不一样,会频繁重编译,性能暴跌。

解决:固定 shape(drop_remainder=True),或者用动态 shape 分档(把 shape 分成几个档位,每档编译一次)。

坑三:显存(HBM)管理不同

NPU 的内存管理策略和 GPU 不一样。PyTorch 那套 torch.cuda.empty_cache() 在 NPU 上要换成对应的接口。

OOM 的报错信息也不一样,要会看 npu-smi info 的输出。

npu-smi info

能看到每张卡的 HBM 使用率、温度、功耗。

坑四:多卡训练启动方式不同

PyTorch 用 torchrun 或者 DistributedDataParallel,MindSpore 用 mpirun 或者 msrun:

msrun --worker_num=8 --local_worker_num=8 --master_port=8118 train.py

环境变量和 rank 的获取方式也有差异,直接从 PyTorch 脚本迁会出错。

PyTorch 能直接跑吗

可以。华为提供了 torch_npu 插件,装完之后 PyTorch 代码基本不用改:

import torch
import torch_npu

device = torch.device("npu:0")
model = model.to(device)
data = data.to(device)

理论上把 cuda 换成 npu 就行。

实际:

  • 大部分算子支持,少数需要替换
  • 分布式训练的接口有差异
  • 某些第三方库(比如自定义 CUDA kernel)不能用

对已有 PyTorch 项目,torch_npu 是成本最低的迁移路径。新项目可以考虑直接用 MindSpore(生态更原生,但学习成本高)。

性能对比

我测的场景:ResNet50,ImageNet 子集,单卡。

卡 吞吐(img/s) 单 epoch 耗时
V100 32G 1250 42 min
Ascend 910B 1180 45 min

差距在 5% 以内,基本持平。

但要注意:这个结果依赖算子都支持、shape 固定、batch size 合适。如果踩到不支持的算子或者动态 shape,性能可能差好几倍。

值不值得迁

值得:

  • 有算力自主可控要求
  • 云上昇腾实例价格比同规格 GPU 便宜
  • 项目用的都是主流算子

不值得:

  • 项目依赖大量自定义 CUDA 算子
  • 需要最新的模型结构(生态跟进有延迟)
  • 团队没有精力折腾环境

小结

昇腾的软件栈成熟度已经够用,但和 CUDA 生态比还是有差距——主要是「遇到问题时能搜到的资料少」。

迁移的关键判断:先查算子支持列表。这一步能省掉后面 80% 的坑。算子都在,迁移就是改改 API;关键算子缺,那就是无底洞。

性能上不用太担心,主流模型能跑到和 GPU 相当的水平。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。