LLaDA MoE v2：混合専門家拡散言語モデルのスケーリング

要旨

拡散言語モデル（dLLM）は、自己回帰（AR）言語モデリングの代替手段を提供するが、混合エキスパート（MoE）dLLM のスケーリング挙動は依然として十分に理解されていない。我々は、MoE dLLM において最適化ハイパーパラメータ、計算配分、アーキテクチャがどのようにスケールするかを系統的に特徴づけ、従来 AR モデルについて報告されたスケーリング傾向との定量的な差異を特定した。具体的には、最適化に関しては、最適な名目バッチサイズはより速く増大する一方、最適な学習率は計算量に応じてより急速に減衰する。モデルとデータの配分に関しては、IsoFLOP 解析によりわずかにデータ側への偏りが明らかになる：最適なトークン予算は、活性化されたモデル側の計算量よりも速く成長する。MoE アーキテクチャに関しては、スケールが大きくなるにつれて、固定された活性化容量の下でより大きなエキスパートプールがますます好まれる一方、中程度のエキスパート粒度は一貫して効果的であり、共有エキスパートに割り当てられる活性化容量の好ましい割合はスケール全体で安定している。これらの知見に基づき、我々は 30B-A3B の dLLM である LLaDA MoE v2 を、23.5T トークンでスクラッチから訓練した。Qwen3 の約65%の事前学習トークン数で、LLaDA MoE v2 は、複数の知識・推論・コーディングベンチマークにおいて Qwen3 に迫る性能を示す。教師ありファインチューニングのみを行った後、8つの推論・コーディングベンチマークのうち7つで SDAR Chat を上回り、いくつかのタスクでは Qwen3 に近い性能を維持する。これらの結果は、MoE dLLM の実用的なスケーリング則と設計原理を確立するものである。

English

Diffusion language models (dLLMs) offer an alternative to autoregressive (AR) language modeling, yet the scaling behavior of Mixture-of-Experts (MoE) dLLMs remains poorly understood. We systematically characterize how optimization hyperparameters, compute allocation, and architecture scale for MoE dLLMs, identifying quantitative differences from scaling trends previously reported for AR models. Specifically, for optimization, the optimal nominal batch size grows faster, while the optimal learning rate decays more rapidly with compute. For model--data allocation, IsoFLOP analysis reveals a slight data-side tilt: the optimal token budget grows faster than activated model-side computation. For MoE architecture, larger scales increasingly favor larger expert pools at fixed activated capacity, while moderate expert granularity remains consistently effective and the preferred fraction of activated capacity assigned to shared experts remains stable across scales. Guided by these findings, we train LLaDA MoE v2, a 30B-A3B dLLM, from scratch on 23.5T tokens. With approximately 65\% as many pretraining tokens as Qwen3, LLaDA MoE v2 approaches Qwen3 on several knowledge, reasoning, and coding benchmarks. After supervised fine-tuning alone, it outperforms SDAR Chat on seven of eight reasoning and coding benchmarks and remains close to Qwen3 on several tasks. These results establish practical scaling laws and design principles for MoE dLLMs.