Abstract

随着 ChatGPT 的推出，AI 大模型训练的需求得到极大的提升。数据中心网络需要更快地适应场景需求，提升各计算间交互的能力，从而获得更好的模型训练性能。

Tolly 评估了华为星河AI网络和传统以太数据中心网络在相同 AI 计算资源的环境中，对 HCCL、BLOOM、VGG16、LLaMA 等模型的训练性能。华为星河AI网络的 AI 加速器 NSLB 算法全局负载分担，较传统 Hash 算法获得更均衡的网络负载分担，从而支撑更高的大模型训练性能。