専門化の幻想：Mixture-of-Expertsモデルにおけるドメイン不変の「常任委員会」の解明

要旨

専門家混合モデルは、スパースルーティングを通じて領域特化を実現すると広く考えられている。本研究では、この前提を問い直すため、個々の専門家ではなく専門家グループレベルでルーティング動作を分析する事後フレームワーク「COMMITTEEAUDIT」を提案する。3つの代表的なモデルとMMLUベンチマークを用いた検証により、領域不変の「常任委員会」を発見した。これは、領域・層・ルーティング予算を超えて一貫してルーティング量の大半を占める、ルーティングされた専門家からなるコンパクトな連合体である。これはアーキテクチャに共有専門家が既に含まれている場合でも観察される。定性分析により、常任委員会が推論構造と構文の基盤を形成し、周辺専門家が領域特有の知識を扱うことがさらに明らかとなった。これらの発見は、集中化された計算への強い構造的バイアスを示しており、専門家混合モデルにおける特化が通説よりもはるかに限定的であることを示唆する。この内在的バイアスは、均一な専門家利用を強制する負荷分散損失など、現在の訓練目標がモデルの自然な最適化経路に反し、訓練効率と性能を制限している可能性も示唆している。

English

Mixture of Experts models are widely assumed to achieve domain specialization through sparse routing. In this work, we question this assumption by introducing COMMITTEEAUDIT, a post hoc framework that analyzes routing behavior at the level of expert groups rather than individual experts. Across three representative models and the MMLU benchmark, we uncover a domain-invariant Standing Committee. This is a compact coalition of routed experts that consistently captures the majority of routing mass across domains, layers, and routing budgets, even when architectures already include shared experts. Qualitative analysis further shows that Standing Committees anchor reasoning structure and syntax, while peripheral experts handle domain-specific knowledge. These findings reveal a strong structural bias toward centralized computation, suggesting that specialization in Mixture of Experts models is far less pervasive than commonly believed. This inherent bias also indicates that current training objectives, such as load-balancing losses that enforce uniform expert utilization, may be working against the model's natural optimization path, thereby limiting training efficiency and performance.

専門化の幻想：Mixture-of-Expertsモデルにおけるドメイン不変の「常任委員会」の解明

The Illusion of Specialization: Unveiling the Domain-Invariant "Standing Committee" in Mixture-of-Experts Models

要旨

Support