T_c_D的论坛回复_云社区-华为云

Lv.2

T_c_D

更多个人资料

72 成长值

0 关注

4 粉丝

+ 关注私信

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

人工智能

个人勋章

TA还没获得勋章~

成长雷达

个人资料

个人介绍

这个人很懒，什么都没有留下

感兴趣或擅长的领域

人工智能

达成规则

以上满足项可达成此勋章

主题(1) | 回复(43)

多卡训练保存权重问题

发布时间 2021/03/31 17:53:46 最后回复 T_c_D 2021/04/01 11:43:58 版块 AI开发平台ModelArts

1871 15 0

他的回复:

评论 william_2021：抱歉，稍等我找一位mindspore相关专家为您解答~

多卡训练保存权重问题

发布时间 2021/03/31 17:53:46 最后回复 T_c_D 2021/04/01 11:43:58 版块 AI开发平台ModelArts

1871 15 0

他的回复:

评论 william_2021：要不一样的，每张卡训练不同的数据，每一步训练后对训练后的每卡参数做聚合（聚合可以是做平均等操作）

多卡训练保存权重问题

发布时间 2021/03/31 17:53:46 最后回复 T_c_D 2021/04/01 11:43:58 版块 AI开发平台ModelArts

1871 15 0

他的回复:

评论 william_2021：还有一点需要确认下，是不是正确做了多卡训练。因为也可能是你说的多卡分配数据集之后，每张卡拿到的数据少了，而又是单卡训练导致的收敛慢。

多卡训练保存权重问题

发布时间 2021/03/31 17:53:46 最后回复 T_c_D 2021/04/01 11:43:58 版块 AI开发平台ModelArts

1871 15 0

他的回复:

评论 william_2021：首先你需要确认下，变成多卡之后，是每张卡32的batchsize还是所有卡共32，这一点很重要；其次根据batchsize的大小变化，来调整学习率的大小，一般情况下0.0001*卡数就可以，但收敛效果不一定是线性相关的，需要仔细调参。如果学习率不变，一个epoch里模型训练的steps数更少了，于是需要更大的epoch数，保证模型训练足够多的step，这个问题也可以通过上面说的调整学习率大小来缓解的。

多卡训练保存权重问题

发布时间 2021/03/31 17:53:46 最后回复 T_c_D 2021/04/01 11:43:58 版块 AI开发平台ModelArts

1871 15 0

他的回复:

回复：william_lzw 发表于 2021-4-1 10:51你是用tensorflow 还是pytorch、horovod，多卡训练是如何配置的，相关的信息可以发一下；之所以打印了四次，是因为用了4进程吧，每个进程都会打印信息了。如果只想一个进程打印只要判断下是否为主进程即可，再在主进程里做验证。

多卡训练保存权重问题

发布时间 2021/03/31 17:53:46 最后回复 T_c_D 2021/04/01 11:43:58 版块 AI开发平台ModelArts

1871 15 0

他的回复:

多卡训练可以通过设置batchsize，让一个step训练更多数据，从而加快训练速度，但是模型的收敛速度也会因为batchsize的增大而变化，需要调整训练的策略。比如一般为了发挥多卡的优势，一个step使用的batchsize为卡数*单卡batchsize。此时一个step训练的batchsize已经增大了，相应的学习率也需要增大（一般为多卡数量倍数）。模型参数保存问题，你的保存操作是在训练的哪个阶段进行的？一般来讲，只要在每个step训练完成后进行保存的，就是已经把多卡聚合之后的模型参数了；

【yolov3-resnet18模型训练】训练一小时后提示取消

发布时间 2021/03/02 16:27:52 最后回复 JeffDing 2021/03/03 11:59:27 版块 AI开发平台ModelArts

2337 9 0

他的回复:

评论 Mercury：抱歉，暂时没有这个设置，如果训练会超出1小时的话，这边建议您还是使用付费的规格吧。

【yolov3-resnet18模型训练】训练一小时后提示取消

发布时间 2021/03/02 16:27:52 最后回复 JeffDing 2021/03/03 11:59:27 版块 AI开发平台ModelArts

2337 9 0

他的回复:

请问您使用的规格是什么，如果是免费规格的话，是会有1小时限制的

【modelarts产品】【训练管理功能】训练生成的caffemodel文件进入linux后格式不对

发布时间 2021/03/01 11:46:44 最后回复多米诺的古牌 2021/03/02 10:03:40 版块 AI开发平台ModelArts

2564 6 0

他的回复:

评论汉堡怪兽：从华为云下载的模型，应该不是通过AI Gallery的caffe ssd算法训练得到的，两者会有差异

【modelarts产品】【训练管理功能】训练生成的caffemodel文件进入linux后格式不对

发布时间 2021/03/01 11:46:44 最后回复多米诺的古牌 2021/03/02 10:03:40 版块 AI开发平台ModelArts

2564 6 0

他的回复:

1. caffe ssd算法是在modelarts的AI Gallery上的官方算法吗？ 2. 原来运行人脸检测使用的facedetection.caffemodel，这个模型是用AI Gallery里的caffe ssd算法训练的吗还是用你自己的算法训练的？ 3. windows和linux之间传输数据是不会改变文件信息的，除非中间有压缩。直接从训练下载的caffemodel，能否在windows下使用呢？