DynaMoE: Ativação Dinâmica de Especialistas a Nível de Token com Capacidade Adaptativa por Camada para Redes Neurais de Mistura de Especialistas

DynaMoE: Dynamic Token-Level Expert Activation with Layer-Wise Adaptive Capacity for Mixture-of-Experts Neural Networks

March 2, 2026

Autores: Gökdeniz Gülmez

cs.AI

Resumo

As arquiteturas Mixture-of-Experts (MoE) emergiram como um paradigma poderoso para dimensionar redes neurais mantendo a eficiência computacional. No entanto, as implementações padrão de MoE dependem de duas premissas de projeto rígidas: (1) o roteamento Top-K fixo, onde exatamente K especialistas são ativados por token, e (2) a alocação uniforme de especialistas em todas as camadas. Este artigo introduz o DynaMoE, uma nova estrutura MoE que relaxa ambas as restrições por meio da ativação dinâmica de especialistas no nível do token e da alocação de capacidade adaptativa por camada. O DynaMoE introduz um mecanismo de roteamento fundamentado no qual o número de especialistas ativos por token varia com base na complexidade da entrada. Paralelamente, a estrutura implementa seis estratégias distintas de escalonamento para distribuir a capacidade de especialistas ao longo da profundidade da rede, incluindo padrões descendentes, ascendentes, piramidais e de onda. Analisamos teoricamente os ganhos de expressividade do roteamento dinâmico e derivamos limites para a eficiência computacional. Por meio de extensos experimentos com MNIST, Fashion-MNIST, CIFAR-10 (classificação de imagens) e Recycling-the-Web (modelagem de linguagem) em múltiplas escalas de modelo, demonstramos que o DynaMoE alcança uma eficiência de parâmetros superior em comparação com linhas de base estáticas. Nossa principal descoberta é que os cronogramas de especialistas ideais são dependentes da tarefa e da escala: cronogramas descendentes (concentrando capacidade nas camadas iniciais) superam as linhas de base uniformes na classificação de imagens. Para modelagem de linguagem, os cronogramas ideais variam com o tamanho do modelo: descendente para Tiny, ascendente para Small e uniforme para Medium. Além disso, o roteamento dinâmico reduz a variância do gradiente durante o treinamento, levando a uma melhor estabilidade de convergência. O DynaMoE estabelece uma nova estrutura para computação adaptativa em redes neurais, fornecendo orientação fundamentada para o projeto de arquiteturas MoE.

English

Mixture-of-Experts (MoE) architectures have emerged as a powerful paradigm for scaling neural networks while maintaining computational efficiency. However, standard MoE implementations rely on two rigid design assumptions: (1) fixed Top-K routing where exactly K experts are activated per token, and (2) uniform expert allocation across all layers. This paper introduces DynaMoE, a novel MoE framework that relaxes both constraints through dynamic token-level expert activation and layer-wise adaptive capacity allocation. DynaMoE introduces a principled routing mechanism where the number of active experts per token varies based on input complexity. Concurrently, the framework implements six distinct scheduling strategies for distributing expert capacity across network depth, including descending, ascending, pyramid, and wave patterns. We theoretically analyze the expressivity gains of dynamic routing and derive bounds on computational efficiency. Through extensive experiments on MNIST, Fashion-MNIST, CIFAR-10 (image classification), and Recycling-the-Web (language modeling) across multiple model scales, we demonstrate that DynaMoE achieves superior parameter efficiency compared to static baselines. Our key finding is that optimal expert schedules are task- and scale-dependent: descending schedules (concentrating capacity in early layers) outperform uniform baselines on image classification. For language modeling, optimal schedules vary by model size, descending for Tiny, ascending for Small, and uniform for Medium. Furthermore, dynamic routing reduces gradient variance during training, leading to improved convergence stability. DynaMoE establishes a new framework for adaptive computation in neural networks, providing principled guidance for MoE architecture design.