Abstract

H3C S9825-G/9855-G 系列交换机是 H3C 公司面向高端数据中心和 AIGC 智算场景推出的新一代高性能、高密度 400GE/100GE 以太网交换机，支持冗余可插拨电源和风扇。S9800-G 可用于新一代数据中心核心和汇聚组网，通过 400GE 上行对接 S12500 系列核心交换机，下行接入 400GE/200GE/100GE 交换机，提供高带宽，大容量服务器接入。

Tolly 测试评估了基于 64 GPU 的集合通信库 NVIDIA Collective Communication Library (NCCL) 以及大模型（Llama3）在不同网络架构下的表现。具体来说，测试对比采用 H3C S9825-8C-G 和 S9855-32DH-G 交换机的 RDMA over Converged Ethernet（RoCE）网络与采用 NVIDIA QM9700 交换机的 InfiniBand（IB）网络架构在 64 GPU 环境上的性能差异。测试中的 RoCE 网络和 IB 网络均采用如图 1 所示的多轨组网。RoCE 网络中，H3C S9825-8C-G 交换机作为 spine 设备，H3C S9855-32DH-G 交换机作为连接服务器的 leaf 设备。

NCCL 和大语言模型 Llama3 的测试结果表明，相同的业务场景下，RoCE 带来与 IB 相仿的性能和一致的业务体验。