Arquiteturas de Rede Otimizadas para Treinamento de Modelos de Linguagem de Grande Escala com Bilhões de Parâmetros

Optimized Network Architectures for Large Language Model Training with Billions of Parameters

July 22, 2023

Autores: Weiyang Wang, Manya Ghobadi, Kayvon Shakeri, Ying Zhang, Naader Hasani

cs.AI

Resumo

Este artigo desafia o paradigma bem estabelecido para a construção de redes any-to-any para o treinamento de Modelos de Linguagem de Grande Escala (LLMs). Demonstramos que os LLMs exibem um padrão de comunicação único, no qual apenas pequenos grupos de GPUs requerem comunicação any-to-any de alta largura de banda entre si para alcançar um desempenho de treinamento quase ideal. Entre esses grupos de GPUs, a comunicação é insignificante, esparsa e homogênea. Propomos uma nova arquitetura de rede que se assemelha de perto aos requisitos de comunicação dos LLMs. Nossa arquitetura particiona o cluster em conjuntos de GPUs interconectados com interconexões any-to-any de alta largura de banda e não bloqueantes, que chamamos de domínios HB. Entre os domínios HB, a rede conecta apenas as GPUs com demandas de comunicação. Chamamos essa conexão de "apenas trilho" e mostramos que nossa arquitetura proposta reduz o custo da rede em até 75% em comparação com as redes Clos any-to-any state-of-the-art, sem comprometer o desempenho do treinamento de LLMs.

English

This paper challenges the well-established paradigm for building any-to-any networks for training Large Language Models (LLMs). We show that LLMs exhibit a unique communication pattern where only small groups of GPUs require high-bandwidth any-to-any communication within them, to achieve near-optimal training performance. Across these groups of GPUs, the communication is insignificant, sparse, and homogeneous. We propose a new network architecture that closely resembles the communication requirement of LLMs. Our architecture partitions the cluster into sets of GPUs interconnected with non-blocking any-to-any high-bandwidth interconnects that we call HB domains. Across the HB domains, the network only connects GPUs with communication demands. We call this network a "rail-only" connection, and show that our proposed architecture reduces the network cost by up to 75% compared to the state-of-the-art any-to-any Clos networks without compromising the performance of LLM training.