NCCL通信优化

• GPU服务器PCIe拓扑感知与训练通信优化实战

  多卡GPU训练中的PCIe带宽瓶颈定位 多GPU训练集群中，NCCL通信效率直接受PCIe拓扑结构影响。同一CPU socket下的GPU通过PCIe Switch互联，跨sock…

  服务器 3小时前