Arquitecturas de Red Optimizadas para el Entrenamiento de Modelos de Lenguaje a Gran Escala con Miles de Millones de Parámetros

Optimized Network Architectures for Large Language Model Training with Billions of Parameters

July 22, 2023

Autores: Weiyang Wang, Manya Ghobadi, Kayvon Shakeri, Ying Zhang, Naader Hasani

cs.AI

Resumen

Este artículo cuestiona el paradigma bien establecido para construir redes de cualquier a cualquier (any-to-any) para entrenar Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés). Demostramos que los LLMs exhiben un patrón de comunicación único en el que solo pequeños grupos de GPUs requieren comunicación de alto ancho de banda de cualquier a cualquier dentro de ellos, para alcanzar un rendimiento de entrenamiento casi óptimo. Entre estos grupos de GPUs, la comunicación es insignificante, dispersa y homogénea. Proponemos una nueva arquitectura de red que se ajusta estrechamente a los requisitos de comunicación de los LLMs. Nuestra arquitectura divide el clúster en conjuntos de GPUs interconectadas con enlaces de cualquier a cualquier de alto ancho de banda no bloqueantes, a los que denominamos dominios HB. Entre los dominios HB, la red solo conecta las GPUs con demandas de comunicación. Llamamos a esta conexión una conexión "solo riel" (rail-only), y demostramos que nuestra arquitectura propuesta reduce el costo de la red hasta en un 75% en comparación con las redes Clos de cualquier a cualquier más avanzadas, sin comprometer el rendimiento del entrenamiento de LLMs.

English

This paper challenges the well-established paradigm for building any-to-any networks for training Large Language Models (LLMs). We show that LLMs exhibit a unique communication pattern where only small groups of GPUs require high-bandwidth any-to-any communication within them, to achieve near-optimal training performance. Across these groups of GPUs, the communication is insignificant, sparse, and homogeneous. We propose a new network architecture that closely resembles the communication requirement of LLMs. Our architecture partitions the cluster into sets of GPUs interconnected with non-blocking any-to-any high-bandwidth interconnects that we call HB domains. Across the HB domains, the network only connects GPUs with communication demands. We call this network a "rail-only" connection, and show that our proposed architecture reduces the network cost by up to 75% compared to the state-of-the-art any-to-any Clos networks without compromising the performance of LLM training.