训练自定义镜像迁移策略
【摘要】 大量的用户有自有的人工智能代码构建经验，有自己的一套依赖库甚至自研软件，所以需要使用自定义镜像来使用ModelArts的训练环境。
本文主要介绍了在ModelArts使用自定义镜像训练的几种方式，并补充了相关的文档资源链接。
1. 专属池+SFS使用
a. 使用ECS节点挂载SFS，通过scp或者OBS中转来进行数据导入
b. 训练任务直接使用硬盘挂载能力，可以做到无缝迁移
2. 公共池
a. 需要客户自己构建数据代码下载，模型结果上传的能力
b. 镜像构建途径：
i. 基于ModelArts的自定义基础镜像：https://bbs.huaweicloud.com/blogs/186057，https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0217.html
ii. 基于客户自己的容器镜像进行改造：https://bbs.huaweicloud.com/blogs/281792
iii. 基于Notebook构建，保存镜像：https://bbs.huaweicloud.com/blogs/334818 （使用新版训练自带的OBS同步）或https://bbs.huaweicloud.com/blogs/285689 （老版训练使用obsutil自主下载）
c. OBS交互途径：
i. OBSutil：shell脚本方式
1) 安装参考：https://bbs.huaweicloud.com/blogs/281373
2) 容器中使用参考：https://bbs.huaweicloud.com/blogs/281792
ii. MoXing：python代码方式
1) 使用限制：因为需要MoXing的软件包，所以需要基于Notebook或训练自定义基础镜像构建
2) 使用方法：https://support.huaweicloud.com/moxing-devg-modelarts/modelarts_11_0005.html
3. 镜像构建&调测指南：https://bbs.huaweicloud.com/blogs/285590
4. 训练任务环境变量说明：https://bbs.huaweicloud.com/blogs/285690
5. 迁移实战场景的小tips：https://bbs.huaweicloud.com/blogs/298131
【声明】本内容来自华为云开发者社区博主，不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息，否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
yangzilong2022/03/11 07:50:071楼编辑删除举报