1. 问题描述

使用两台在同一vpc网络下的Snt9B裸金属服务器通过torch.distributed.launch进行多机分布式训练时，出现如下报错，显示连接超时：

2. 解决方案

在使用torch.distributed.launch进行多机分布式训练时，需要指定一个主节点，并且保证每个节点都在相同的vpc网络内（即节点间ping vpc ip可以ping通）。此外，还需要保证多台机器的RoCE网络在同一子网内。

所有节点均需要指定如下参数。

--nproc_per_node $NPUS_PER_NODE  # 每个节点的npu数目
--nnodes $NNODES  # 节点数目
--node_rank $NODE_RANK  # 节点标识
--master_addr $MASTER_ADDR  # 主节点ip地址，私有vpc ip
--master_port $MASTER_PORT  # 主节点端口

其中，主节点的ip地址不能使用公网ip，而要使用内网vpc ip。