Optimierte Netzwerkarchitekturen für das Training von Large Language Models mit Milliarden von Parametern

Optimized Network Architectures for Large Language Model Training with Billions of Parameters

July 22, 2023

Autoren: Weiyang Wang, Manya Ghobadi, Kayvon Shakeri, Ying Zhang, Naader Hasani

cs.AI

Zusammenfassung

Dieses Papier stellt das etablierte Paradigma für den Aufbau von Any-to-Any-Netzwerken zum Training von Large Language Models (LLMs) in Frage. Wir zeigen, dass LLMs ein einzigartiges Kommunikationsmuster aufweisen, bei dem nur kleine Gruppen von GPUs eine hochbandbreitige Any-to-Any-Kommunikation innerhalb dieser Gruppen benötigen, um eine nahezu optimale Trainingsleistung zu erreichen. Zwischen diesen Gruppen von GPUs ist die Kommunikation unbedeutend, spärlich und homogen. Wir schlagen eine neue Netzwerkarchitektur vor, die den Kommunikationsanforderungen von LLMs sehr nahe kommt. Unsere Architektur unterteilt den Cluster in Gruppen von GPUs, die durch nicht blockierende Any-to-Any-Hochbandbreitenverbindungen, die wir als HB-Domänen bezeichnen, miteinander verbunden sind. Zwischen den HB-Domänen verbindet das Netzwerk nur GPUs mit Kommunikationsbedarf. Wir nennen dieses Netzwerk eine „Rail-only“-Verbindung und zeigen, dass unsere vorgeschlagene Architektur die Netzwerkkosten im Vergleich zu modernen Any-to-Any-Clos-Netzwerken um bis zu 75 % reduziert, ohne die Leistung des LLM-Trainings zu beeinträchtigen.

English

This paper challenges the well-established paradigm for building any-to-any networks for training Large Language Models (LLMs). We show that LLMs exhibit a unique communication pattern where only small groups of GPUs require high-bandwidth any-to-any communication within them, to achieve near-optimal training performance. Across these groups of GPUs, the communication is insignificant, sparse, and homogeneous. We propose a new network architecture that closely resembles the communication requirement of LLMs. Our architecture partitions the cluster into sets of GPUs interconnected with non-blocking any-to-any high-bandwidth interconnects that we call HB domains. Across the HB domains, the network only connects GPUs with communication demands. We call this network a "rail-only" connection, and show that our proposed architecture reduces the network cost by up to 75% compared to the state-of-the-art any-to-any Clos networks without compromising the performance of LLM training.