Leggi di Scalabilità per Miscele Granulari di Esperti

Scaling Laws for Fine-Grained Mixture of Experts

February 12, 2024

Autori: Jakub Krajewski, Jan Ludziejewski, Kamil Adamczewski, Maciej Pióro, Michał Krutul, Szymon Antoniak, Kamil Ciebiera, Krystian Król, Tomasz Odrzygóźdź, Piotr Sankowski, Marek Cygan, Sebastian Jaszczur

cs.AI

Abstract

I modelli Mixture of Experts (MoE) sono emersi come una soluzione primaria per ridurre il costo computazionale dei Large Language Models. In questo lavoro, analizziamo le loro proprietà di scalabilità, incorporando una gamma ampliata di variabili. Nello specifico, introduciamo un nuovo iperparametro, la granularità, il cui aggiustamento consente un controllo preciso sulla dimensione degli esperti. Basandoci su questo, stabiliamo leggi di scalabilità per MoE a grana fine, tenendo conto del numero di token di addestramento, della dimensione del modello e della granularità. Sfruttando queste leggi, deriviamo la configurazione ottimale di addestramento per un dato budget computazionale. I nostri risultati non solo mostrano che i modelli MoE superano costantemente i Transformer densi, ma evidenziano anche che il divario di efficienza tra modelli densi e MoE si amplia man mano che aumentiamo la dimensione del modello e il budget di addestramento. Inoltre, dimostriamo che la pratica comune di impostare la dimensione degli esperti in MoE per rispecchiare il livello feed-forward non è ottimale per quasi nessun budget computazionale.

English

Mixture of Experts (MoE) models have emerged as a primary solution for reducing the computational cost of Large Language Models. In this work, we analyze their scaling properties, incorporating an expanded range of variables. Specifically, we introduce a new hyperparameter, granularity, whose adjustment enables precise control over the size of the experts. Building on this, we establish scaling laws for fine-grained MoE, taking into account the number of training tokens, model size, and granularity. Leveraging these laws, we derive the optimal training configuration for a given computational budget. Our findings not only show that MoE models consistently outperform dense Transformers but also highlight that the efficiency gap between dense and MoE models widens as we scale up the model size and training budget. Furthermore, we demonstrate that the common practice of setting the size of experts in MoE to mirror the feed-forward layer is not optimal at almost any computational budget.