Leis de Escalonamento para Mistura Especializada de Especialistas

Scaling Laws for Fine-Grained Mixture of Experts

February 12, 2024

Autores: Jakub Krajewski, Jan Ludziejewski, Kamil Adamczewski, Maciej Pióro, Michał Krutul, Szymon Antoniak, Kamil Ciebiera, Krystian Król, Tomasz Odrzygóźdź, Piotr Sankowski, Marek Cygan, Sebastian Jaszczur

cs.AI

Resumo

Modelos de Mistura de Especialistas (MoE, na sigla em inglês) surgiram como uma solução primária para reduzir o custo computacional de Modelos de Linguagem de Grande Escala. Neste trabalho, analisamos suas propriedades de escalonamento, incorporando uma gama ampliada de variáveis. Especificamente, introduzimos um novo hiperparâmetro, a granularidade, cujo ajuste permite um controle preciso sobre o tamanho dos especialistas. Com base nisso, estabelecemos leis de escalonamento para MoE de granularidade fina, levando em consideração o número de tokens de treinamento, o tamanho do modelo e a granularidade. Aproveitando essas leis, derivamos a configuração de treinamento ideal para um determinado orçamento computacional. Nossos resultados não apenas mostram que os modelos MoE superam consistentemente os Transformers densos, mas também destacam que a diferença de eficiência entre modelos densos e MoE aumenta à medida que escalamos o tamanho do modelo e o orçamento de treinamento. Além disso, demonstramos que a prática comum de definir o tamanho dos especialistas em MoE para espelhar a camada feed-forward não é ideal em quase nenhum orçamento computacional.

English

Mixture of Experts (MoE) models have emerged as a primary solution for reducing the computational cost of Large Language Models. In this work, we analyze their scaling properties, incorporating an expanded range of variables. Specifically, we introduce a new hyperparameter, granularity, whose adjustment enables precise control over the size of the experts. Building on this, we establish scaling laws for fine-grained MoE, taking into account the number of training tokens, model size, and granularity. Leveraging these laws, we derive the optimal training configuration for a given computational budget. Our findings not only show that MoE models consistently outperform dense Transformers but also highlight that the efficiency gap between dense and MoE models widens as we scale up the model size and training budget. Furthermore, we demonstrate that the common practice of setting the size of experts in MoE to mirror the feed-forward layer is not optimal at almost any computational budget.