Geoptimaliseerde netwerkarchitecturen voor het trainen van grote taalmodel- len met miljarden parameters

Optimized Network Architectures for Large Language Model Training with Billions of Parameters

July 22, 2023

Auteurs: Weiyang Wang, Manya Ghobadi, Kayvon Shakeri, Ying Zhang, Naader Hasani

cs.AI

Samenvatting

Dit artikel daagt het gevestigde paradigma uit voor het bouwen van any-to-any netwerken voor het trainen van Large Language Models (LLM's). We tonen aan dat LLM's een uniek communicatiepatroon vertonen waarbij alleen kleine groepen GPU's high-bandwidth any-to-any communicatie binnen deze groepen nodig hebben om een bijna optimale trainingsprestatie te bereiken. Tussen deze groepen GPU's is de communicatie onbeduidend, schaars en homogeen. We stellen een nieuwe netwerkarchitectuur voor die nauw aansluit bij de communicatiebehoeften van LLM's. Onze architectuur verdeelt het cluster in sets van GPU's die onderling verbonden zijn met non-blocking any-to-any high-bandwidth verbindingen, die we HB-domeinen noemen. Tussen de HB-domeinen verbindt het netwerk alleen GPU's met communicatiebehoeften. We noemen dit een "rail-only" verbinding en laten zien dat onze voorgestelde architectuur de netwerkkosten met tot wel 75% verlaagt in vergelijking met state-of-the-art any-to-any Clos-netwerken, zonder in te leveren op de prestaties van LLM-training.

English

This paper challenges the well-established paradigm for building any-to-any networks for training Large Language Models (LLMs). We show that LLMs exhibit a unique communication pattern where only small groups of GPUs require high-bandwidth any-to-any communication within them, to achieve near-optimal training performance. Across these groups of GPUs, the communication is insignificant, sparse, and homogeneous. We propose a new network architecture that closely resembles the communication requirement of LLMs. Our architecture partitions the cluster into sets of GPUs interconnected with non-blocking any-to-any high-bandwidth interconnects that we call HB domains. Across the HB domains, the network only connects GPUs with communication demands. We call this network a "rail-only" connection, and show that our proposed architecture reduces the network cost by up to 75% compared to the state-of-the-art any-to-any Clos networks without compromising the performance of LLM training.