非常感谢，已成功验证了 Mindspore-GPU 1.0.1版本引擎使用 Infiniband 网卡支持 RDMA 的分布式训练。主要的环境与要求：openmpi 使用具备 TCP 信道的基本版本就可以了，它仅仅是任务启动器。把宿主机的Infiniband设备节点与ibverbs库文件目录均挂载到容器中，MIndSpore-GPU引擎代码中 NCCL 通信的 代码中会自动找到并优先使用 RDMA协议；容器中运行分布式训练，需要在启动容器时使能 sharememory，设定为比较大的值。启动训练的参数命令行：mpirun -np 2 --allow-run-as-root --mca pml ob1 --mca btl tcp,self -mca btl_tcp_if_include ib0 --prefix /usr/local/openmpi-4.0.3 --hostfile hostfile-1-1 -x PATH -x DATA_PATH -x NCCL_IB_HCA=mlx5_2:1 pytest /var/mindsp-data/distributed_training/resnet50_distributed_training.py 

感谢及时的答复，我启用了 export NCCL_DEBUG=INFO 运行过，没有增加任何新的更多的打印信息。目前我学习与研究的是 GPU分布式训练，我进一步查阅资料，然后大致查看了 mindspore的源代码。依据NCCL官方网站上用户指导文档(https://docs.nvidia.com/deeplearning/nccl/user-guide/docs/mpi.html)，看到如果NCCL 与 MPI同时操作 CUDA 库的接口，很可能会出现 lock 的问题；从 mindspore的源代码中，可以看到mindspore 集成/依赖的 NCCL代码中完整包含了一套 Infiniband 网卡的 vers 协议操作代码。回头看我之前的测试实验，我有如下的调整计划与疑问：  上面我使用的 openmpi 工具也编译支持了 CUDA 库的操作接口，这个很可能正好符合了第一条提到的导致 lock 问题，所以我需要重新编译一套不包含 CUDA 操作接口能力的 openmpi工具。mindspore 通过 NCCL使用 RDMA协议，这个是编译时需要用参数指定才能支持(或者是编译时自动搜索相关系统路径找到了 ibvers的库就自动支持)，还是完全在运行时支持的(就像 openmpi工具那样，在运行时由环境变量指定是否使用某个信道、资源)如果我理解有问题，或者有其他意见，请指正，有进一步进展我会在这里更新