細粒度なエキスパート混合モデルにおけるスケーリング則

要旨

エキスパートの混合（Mixture of Experts, MoE）モデルは、大規模言語モデルの計算コストを削減するための主要な解決策として登場しました。本研究では、拡張された変数の範囲を組み込みながら、そのスケーリング特性を分析します。具体的には、エキスパートのサイズを精密に制御することを可能にする新しいハイパーパラメータである「粒度」を導入します。これを基盤として、トレーニングトークン数、モデルサイズ、および粒度を考慮した、細粒度MoEのスケーリング則を確立します。これらの法則を活用し、与えられた計算予算に対して最適なトレーニング構成を導出します。我々の研究結果は、MoEモデルが密なTransformerモデルを一貫して上回るだけでなく、モデルサイズとトレーニング予算をスケールアップするにつれて、密なモデルとMoEモデル間の効率の差が広がることを示しています。さらに、MoEにおけるエキスパートのサイズをフィードフォワード層に合わせるという一般的な慣行が、ほとんどすべての計算予算において最適ではないことを実証します。

English

Mixture of Experts (MoE) models have emerged as a primary solution for reducing the computational cost of Large Language Models. In this work, we analyze their scaling properties, incorporating an expanded range of variables. Specifically, we introduce a new hyperparameter, granularity, whose adjustment enables precise control over the size of the experts. Building on this, we establish scaling laws for fine-grained MoE, taking into account the number of training tokens, model size, and granularity. Leveraging these laws, we derive the optimal training configuration for a given computational budget. Our findings not only show that MoE models consistently outperform dense Transformers but also highlight that the efficiency gap between dense and MoE models widens as we scale up the model size and training budget. Furthermore, we demonstrate that the common practice of setting the size of experts in MoE to mirror the feed-forward layer is not optimal at almost any computational budget.

細粒度なエキスパート混合モデルにおけるスケーリング則

Scaling Laws for Fine-Grained Mixture of Experts

要旨

Support