训练作业使用自定版本pytorch进行训练

举报
星月菩提 发表于 2021/03/31 10:21:06 2021/03/31
【摘要】 当前想使用pytorch 1.7进行训练,而modelarts预置框架最高只支持pytorch 1.4。可以通过如下配置方式来实现。(其他的pytorch版本采用同样的方式只是下载的文件不同)首先要了解的是预置框架pytorch 1.4所使用的cuda版本为10.1,python版本为3.6,因此我们需要基于python3.6 cuda10.1构建的pytorch 1.7 离线安装包。同时我...

当前想使用pytorch 1.7进行训练,而modelarts预置框架最高只支持pytorch 1.4。可以通过如下配置方式来实现。(其他的pytorch版本采用同样的方式只是下载的文件不同)

首先要了解的是预置框架pytorch 1.4所使用的cuda版本为10.1,python版本为3.6,因此我们需要基于python3.6 cuda10.1构建的pytorch 1.7 离线安装包。同时我们也需要pytorch 1.7对应版本的torchvision为0.8.2。

因此我们可以通过pytorch官网下载

https://download.pytorch.org/whl/torch_stable.html

torch 和 torchvision安装包名称如下,其中cu101代表cuda10.1,cp36代表python 3.6, linux代表操作系统为linux

将这两个放到训练作业预置框架的同目录下。

假如我的启动目录为code,启动脚本为start.py。code目录下面包含了pytorch 1.7的两个离线安装包

在训练作业的启动脚本start.py中最上方添加如下代码。之所以要加code目录,因为整个code目录被下载到了/home/work/user-job-dir下面,而真正的执行命令为python code/start.py,所以安装包也要有code的目录前缀。我这里是举个例子,如果你的启动目录是别的目录,请是配成自己的目录

import os
os.system('pip intall  code/torch-1.7.0+cu101-cp36-cp36m-linux_x86_64.whl code/torchvision-0.8.2+cu101-cp36-cp36m-linux_x86_64.whl ')

import torch


【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。