Architectures de réseau optimisées pour l'entraînement de modèles de langage à grande échelle avec des milliards de paramètres

Optimized Network Architectures for Large Language Model Training with Billions of Parameters

July 22, 2023

Auteurs: Weiyang Wang, Manya Ghobadi, Kayvon Shakeri, Ying Zhang, Naader Hasani

cs.AI

Résumé

Cet article remet en question le paradigme bien établi pour la construction de réseaux tout-à-tout pour l'entraînement de modèles de langage à grande échelle (LLMs). Nous démontrons que les LLMs présentent un schéma de communication unique où seuls de petits groupes de GPU nécessitent une communication tout-à-tout à haut débit entre eux pour atteindre des performances d'entraînement quasi optimales. Entre ces groupes de GPU, la communication est insignifiante, sporadique et homogène. Nous proposons une nouvelle architecture réseau qui s'aligne étroitement sur les besoins de communication des LLMs. Notre architecture partitionne le cluster en ensembles de GPU interconnectés par des liaisons tout-à-tout à haut débit non bloquantes, que nous appelons domaines HB. Entre les domaines HB, le réseau ne connecte que les GPU ayant des besoins de communication. Nous appelons cette connexion une liaison "rail-only" et montrons que notre architecture proposée réduit le coût du réseau jusqu'à 75 % par rapport aux réseaux Clos tout-à-tout de pointe, sans compromettre les performances de l'entraînement des LLMs.

English

This paper challenges the well-established paradigm for building any-to-any networks for training Large Language Models (LLMs). We show that LLMs exhibit a unique communication pattern where only small groups of GPUs require high-bandwidth any-to-any communication within them, to achieve near-optimal training performance. Across these groups of GPUs, the communication is insignificant, sparse, and homogeneous. We propose a new network architecture that closely resembles the communication requirement of LLMs. Our architecture partitions the cluster into sets of GPUs interconnected with non-blocking any-to-any high-bandwidth interconnects that we call HB domains. Across the HB domains, the network only connects GPUs with communication demands. We call this network a "rail-only" connection, and show that our proposed architecture reduces the network cost by up to 75% compared to the state-of-the-art any-to-any Clos networks without compromising the performance of LLM training.