Architetture di Rete Ottimizzate per l'Addestramento di Modelli Linguistici di Grandi Dimensioni con Miliardi di Parametri

Optimized Network Architectures for Large Language Model Training with Billions of Parameters

July 22, 2023

Autori: Weiyang Wang, Manya Ghobadi, Kayvon Shakeri, Ying Zhang, Naader Hasani

cs.AI

Abstract

Questo articolo mette in discussione il paradigma consolidato per la costruzione di reti any-to-any per l'addestramento di Large Language Models (LLM). Dimostriamo che gli LLM presentano un modello di comunicazione unico in cui solo piccoli gruppi di GPU richiedono una comunicazione any-to-any ad alta larghezza di banda al loro interno, per raggiungere prestazioni di addestramento quasi ottimali. Tra questi gruppi di GPU, la comunicazione è insignificante, sparsa e omogenea. Proponiamo una nuova architettura di rete che rispecchia da vicino i requisiti di comunicazione degli LLM. La nostra architettura suddivide il cluster in insiemi di GPU interconnesse con collegamenti any-to-any ad alta larghezza di banda non bloccanti, che chiamiamo domini HB. Tra i domini HB, la rete collega solo le GPU con esigenze di comunicazione. Chiamiamo questa connessione "rail-only" e dimostriamo che l'architettura proposta riduce il costo della rete fino al 75% rispetto alle reti Clos any-to-any all'avanguardia, senza compromettere le prestazioni dell'addestramento degli LLM.

English

This paper challenges the well-established paradigm for building any-to-any networks for training Large Language Models (LLMs). We show that LLMs exhibit a unique communication pattern where only small groups of GPUs require high-bandwidth any-to-any communication within them, to achieve near-optimal training performance. Across these groups of GPUs, the communication is insignificant, sparse, and homogeneous. We propose a new network architecture that closely resembles the communication requirement of LLMs. Our architecture partitions the cluster into sets of GPUs interconnected with non-blocking any-to-any high-bandwidth interconnects that we call HB domains. Across the HB domains, the network only connects GPUs with communication demands. We call this network a "rail-only" connection, and show that our proposed architecture reduces the network cost by up to 75% compared to the state-of-the-art any-to-any Clos networks without compromising the performance of LLM training.