torch distributed 多GPU训练笔记
【摘要】
DistributedDataParallel (既可单机多卡又可多机多卡)
先奉上官网nn.DistributedDataParallel(model)链接
https://pytorch.org/docs/stable/generated/torch.nn.parallel.DistributedDataParallel.html#torch...
DistributedDataParallel (既可单机多卡又可多机多卡)
先奉上官网nn.DistributedDataParallel(model)链接
https://pytorch.org/docs/stable/generated/torch.nn.parallel.DistributedDataParallel.html#torch.nn.parallel.DistributedDataParallelpytorch.org
-
CLASS torch.nn.parallel.DistributedDataParallel(module, device_ids=None, output_device=None, -
dim=0, broadcast_buffers=True, process_group=None, bucket_cap_mb=25, -
find_unused_parameters=False, check_reduction=False)
- 参数定义
module是要放到多卡训练的模型;
device_ids数据类型是一个列表, 表示可用的gpu卡号;
output_devices数据类型也是列表,表示模型输出结果存放的卡号(如果不指定的话,默认放在0卡,这也是为什么多gpu训练并不是负载均衡的,一般0卡会占用的多,这里还涉及到一个小知识点——如果程序开始加os.environ["CUDA_VISIBLE_DEVICES"] = "2, 3", 那么0卡(逻辑卡号)指的是2卡(物理卡号))。
dim
文章来源: blog.csdn.net，作者：网奇，版权归原作者所有，如需转载，请联系作者。
原文链接：blog.csdn.net/jacke121/article/details/117697664
【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱：
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
作者其他文章
评论（0）