Оптимизированные архитектуры сетей для обучения языковых моделей с миллиардами параметров

Optimized Network Architectures for Large Language Model Training with Billions of Parameters

July 22, 2023

Авторы: Weiyang Wang, Manya Ghobadi, Kayvon Shakeri, Ying Zhang, Naader Hasani

cs.AI

Аннотация

В данной статье подвергается сомнению устоявшаяся парадигма построения сетей с произвольной топологией (any-to-any) для обучения крупных языковых моделей (LLM). Мы демонстрируем, что LLM демонстрируют уникальный паттерн коммуникации, при котором только небольшие группы графических процессоров (GPU) требуют высокоскоростной произвольной коммуникации внутри себя для достижения почти оптимальной производительности обучения. Между этими группами GPU коммуникация незначительна, редка и однородна. Мы предлагаем новую архитектуру сети, которая точно соответствует требованиям коммуникации LLM. Наша архитектура разделяет кластер на наборы GPU, соединенных между собой неблокирующими высокоскоростными соединениями произвольной топологии, которые мы называем HB-доменами. Между HB-доменами сеть соединяет только те GPU, которые имеют потребность в коммуникации. Мы называем это соединение "рельсовым" (rail-only) и показываем, что предложенная архитектура снижает стоимость сети до 75% по сравнению с современными сетями Clos с произвольной топологией, не ухудшая при этом производительность обучения LLM.

English

This paper challenges the well-established paradigm for building any-to-any networks for training Large Language Models (LLMs). We show that LLMs exhibit a unique communication pattern where only small groups of GPUs require high-bandwidth any-to-any communication within them, to achieve near-optimal training performance. Across these groups of GPUs, the communication is insignificant, sparse, and homogeneous. We propose a new network architecture that closely resembles the communication requirement of LLMs. Our architecture partitions the cluster into sets of GPUs interconnected with non-blocking any-to-any high-bandwidth interconnects that we call HB domains. Across the HB domains, the network only connects GPUs with communication demands. We call this network a "rail-only" connection, and show that our proposed architecture reduces the network cost by up to 75% compared to the state-of-the-art any-to-any Clos networks without compromising the performance of LLM training.