ModelArts 专属资源池8卡v100性能测试例子
【摘要】 ModelArts 专属资源池8卡v100性能测试例子
测试脚本使用的模型是resnet50,使用tensorflow 1.13.1框架。
测试代码见附件,代码一共包含4个文件。” trainer_modelarts.py”是使用modelarts进行训练的启动脚本,” trainer_offline.py”是线下进行训练的脚本。
通过下面地址下载数据集
http://download.tensorflow.org/example_images/flower_photos.tgz
解压以后执行下面命令将数据集文件夹结构进行重构
重构以后数据目录变为
|-flowers_dataset
|-train
|-label 目录
1本地进行性能测试
将数据拷贝到/cache下面,解压压缩包
进入代码目录,执行
python trainer_offline.py --mode=train
代码中默认的gpu数量是8,如果数量不是8,请增加参数--num_gpu=1
python trainer_offline.py --mode=train --num_gpu=1
2ModelArts上进行测试性能测试
将代码解压后上传到obs, 流入这个代码上传到’obs://cnnorth4-job-test/juyiming-demo/r50_performance’
flowers_dataset上传到obs,例如我上传到’obs://cnnorth4-job-test/juyiming-demo/flowers_dataset’
训练作业进行如下配置,选择专属8卡v100专属资源池,进行训练作业创建。
如果是单卡增加参数
num_gpu = 1
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)