ModelArts 训练使用共享文件系统指引
当前运行于专属资源池中的训练作业,可以使用华为公有云 弹性文件系统 服务提供的 SFS Turbo 文件系统。
由于专属资源池默认提供的是网络隔离、资源独占的运行环境,因此在使用 SFS Turbo 之前,需要对专属资源池与 SFS Turbo 所处的网络进行配置,以使得训练作业能访问到 SFS Turbo 文件系统。
下文详细描述在 ModelArts 训练中使用共享文件系统的操作流程。
1.1 专属资源池网络地址
专属资源池(开发环境/训练专用)由 ModelArts 服务托管,网络地址默认为 192.168.20.0/24
1.2 SFS Turbo 网络地址规划
注意到专属资源池的网络地址为 192.168.20.0/24,因此 SFS Turbo 所在的网络地址空间不能与 192.168.20.0/24 地址空间重叠。另外由于底层技术限制,要求网络地址空间网段必须为 192.168。 (该限制,在专属资源池网络配置菜单中有说明)
规划 SFS Turbo 所在网络(VPC)的地址空间,例如 192.168.108.0/24 地址空间。
1.3 创建 SFS Turbo
在已规划好的 VPC 与 Subnet 下创建 SFS Turbo 类型的文件系统
1.4 配置专属资源池网络
于专属资源池的详情页面中,配置专属资源池网络,与 SFS Turbo 所在的网络连通
选择前述 SFS Turbo 所在的 VPC 与 Subnet
1.5 训练作业使用 SFS Turbo
选择已配置好网络的专属资源池
确定后,计算节点个数 下方会出现 选择区域
选择前述已创建好的 SFS Turbo
在训练作业代码中即可通过 /home/work/nas 路径访问 SFS Turbo 文件系统中的数据
- 点赞
- 收藏
- 关注作者
评论(0)