云社区 博客 博客详情
云社区 博客 博客详情

ModelArts安装依赖包指引

星月菩提 发表于 2020-04-18 16:11:22 04-18 16:11
星月菩提 发表于 2020-04-18 16:11:22 2020/04/18
0
0

【摘要】 在modelarts训练作业中配置apt源,在训练作业中动态编译安装软件包,训练作业安装依赖软件包

构建程序依赖环境有两种方法

  • 通过自定义镜像

  • 通过运行时动态构建运行环境


自定义镜像

请参考文档

https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0087.html


动态构建运行环境

上传软件包到obs并安装

创建训练任务时选择常用框架的一种。在拉起训练作业的容器中会自带moxing库函数,可以使用moxingobs进行交互,例如我使用的是北京四的obs,使用北京四modelarts,在北京四的obs上有个桶叫做test,下面有个文件夹叫做custom/src/,需要编译安装的源码在custom/src下面,那么可以起一个常用框架训练作业,使用如下的代码完成下面功能

1.将数据从obs的桶中下载到运行的docker环境中/cache目录下。

2.编译源码

3.上传编译后的结果到obs

(每快GPU卡有500GB/cache目录作为缓存(2个gpu对应1000GB),缓存中存放的数据与作业的生命周期相同,当作业结束以后cache目录会被清空)


import moxing as mox

#下载依赖代码到环境中

mox.file.copy_parallel(‘s3://test/custom/src/’, ‘/cache/src/‘)

#compile.sh是编译脚本,自己编写

#install.sh 安装工具脚本,自己编写

#test.sh安装成功检测脚本,自己编写

os.system(‘cd /cache/src /; sh compile.sh;’)

#假设编译好的bin放在/cache/src/bin/下面,上传编译好的binobs

mox.file.copy_parallel(‘/cache/src/bin/’, ‘s3://test/custom/compiled/bin/’)

更多moxing接口参考

https://github.com/huaweicloud/ModelArts-Lab/blob/master/docs/moxing_api_doc/MoXing_API_File.md


再次起作业可以通过如下代码直接安装后使用


import moxing as mox

#下载依赖代码到环境中

mox.file.copy_parallel(‘s3://test/custom/compiled/bin/, ‘/cache/tools/’)

#install.sh 安装工具脚本,自己编写

os.system(‘cd /cache/tools/; sh install.sh’)

#下面是业务代码

……

……


如何使用apt-get

训练环境处于私有网络与外网不通,因此如果需要使用apt-get安装一些工具,需要对apt源进行配置

假如此文件在obs的目录为/test/custom/apt目录下面,那么可以通过如下命令进行配置

import moxing as mox

mox.file.copy_parallel(‘s3://test/custom/apt/’,   ‘/cache/apt/’)

os.system(‘sudo rm   /etc/apt/sources.list;sudo mv /cache/apt/sources.list /etc/apt/sources.list’)

os.system(‘sudo apt-get update; sudo   apt-get install <YOUR-REQUIRED-SOFTWARE>’)


sources.list 文件内容如下

deb http://repo.myhuaweicloud.com/ubuntu/ xenial main multiverse restricted universe
deb http://repo.myhuaweicloud.com/ubuntu/ xenial-backports main multiverse restricted universe
deb http://repo.myhuaweicloud.com/ubuntu/ xenial-proposed main multiverse restricted universe
deb http://repo.myhuaweicloud.com/ubuntu/ xenial-security main multiverse restricted universe
deb http://repo.myhuaweicloud.com/ubuntu/ xenial-updates main multiverse restricted universe
deb-src http://repo.myhuaweicloud.com/ubuntu/ xenial main multiverse restricted universe
deb-src http://repo.myhuaweicloud.com/ubuntu/ xenial-backports main multiverse restricted universe
deb-src http://repo.myhuaweicloud.com/ubuntu/ xenial-proposed main multiverse restricted universe
deb-src http://repo.myhuaweicloud.com/ubuntu/ xenial-security main multiverse restricted universe
deb-src http://repo.myhuaweicloud.com/ubuntu/ xenial-updates main multiverse restricted universe


登录后可下载附件,请登录或者注册

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:huaweicloud.bbs@huawei.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
评论文章 //点赞 收藏 0
点赞
分享文章到微博
分享文章到朋友圈

评论 (0)


0/1000
评论

登录后可评论,请 登录注册

评论

您还没有写博客的权限!

温馨提示

您确认删除评论吗?

确定
取消
温馨提示

您确认删除评论吗?

删除操作无法恢复,请谨慎操作。

确定
取消
温馨提示

您确认删除博客吗?

确定
取消

确认删除

您确认删除博客吗?

确认删除

您确认删除评论吗?

温馨提示

登录超时或用户已下线,请重新登录!!!

确定
取消