LLaDA MoE v2: 전문가 혼합 확산 언어 모델의 확장

초록

확산 언어 모델(dLLM)은 자기회귀(AR) 언어 모델링의 대안을 제공하지만, 전문가 혼합(MoE) 기반 dLLM의 확장 동작은 여전히 잘 이해되지 않고 있다. 우리는 MoE dLLM에 대해 최적화 하이퍼파라미터, 연산 할당, 아키텍처 규모가 어떻게 확장되는지를 체계적으로 특성화하고, AR 모델에 대해 이전에 보고된 확장 추세와의 정량적 차이를 식별한다. 구체적으로, 최적화 측면에서 최적 명목 배치 크기는 더 빠르게 증가하는 반면, 최적 학습률은 연산량에 따라 더 빠르게 감소한다. 모델-데이터 배분 측면에서 IsoFLOP 분석은 약간의 데이터 측 기울기를 드러내는데, 최적 토큰 예산이 활성화된 모델 측 연산보다 더 빠르게 증가한다. MoE 아키텍처 측면에서는 규모가 커질수록 고정된 활성 용량에서 더 큰 전문가 풀이 점점 유리해지는 반면, 적절한 전문가 세분성은 일관되게 효과적이며, 공유 전문가에 할당되는 활성 용량의 선호 비율은 규모에 관계없이 안정적으로 유지된다. 이러한 발견에 따라 우리는 30B-A3B dLLM인 LLaDA MoE v2를 23.5T 토큰으로 처음부터 학습시킨다. Qwen3 사전 학습 토큰의 약 65%만 사용하여, LLaDA MoE v2는 여러 지식, 추론, 코딩 벤치마크에서 Qwen3에 근접한다. 지도 미세 조정만으로도 8개의 추론 및 코딩 벤치마크 중 7개에서 SDAR Chat을 능가하며, 여러 작업에서 Qwen3에 가까운 성능을 유지한다. 이러한 결과는 MoE dLLM을 위한 실용적 확장 법칙과 설계 원칙을 확립한다.

English

Diffusion language models (dLLMs) offer an alternative to autoregressive (AR) language modeling, yet the scaling behavior of Mixture-of-Experts (MoE) dLLMs remains poorly understood. We systematically characterize how optimization hyperparameters, compute allocation, and architecture scale for MoE dLLMs, identifying quantitative differences from scaling trends previously reported for AR models. Specifically, for optimization, the optimal nominal batch size grows faster, while the optimal learning rate decays more rapidly with compute. For model--data allocation, IsoFLOP analysis reveals a slight data-side tilt: the optimal token budget grows faster than activated model-side computation. For MoE architecture, larger scales increasingly favor larger expert pools at fixed activated capacity, while moderate expert granularity remains consistently effective and the preferred fraction of activated capacity assigned to shared experts remains stable across scales. Guided by these findings, we train LLaDA MoE v2, a 30B-A3B dLLM, from scratch on 23.5T tokens. With approximately 65\% as many pretraining tokens as Qwen3, LLaDA MoE v2 approaches Qwen3 on several knowledge, reasoning, and coding benchmarks. After supervised fine-tuning alone, it outperforms SDAR Chat on seven of eight reasoning and coding benchmarks and remains close to Qwen3 on several tasks. These results establish practical scaling laws and design principles for MoE dLLMs.