DynaMoE: Activación Dinámica de Expertos a Nivel de Token con Capacidad Adaptativa por Capa para Redes Neuronales de Mezcla de Expertos

DynaMoE: Dynamic Token-Level Expert Activation with Layer-Wise Adaptive Capacity for Mixture-of-Experts Neural Networks

March 2, 2026

Autores: Gökdeniz Gülmez

cs.AI

Resumen

Las arquitecturas Mixture-of-Experts (MoE) han surgido como un paradigma poderoso para escalar redes neuronales manteniendo la eficiencia computacional. Sin embargo, las implementaciones estándar de MoE se basan en dos supuestos de diseño rígidos: (1) el enrutamiento Top-K fijo, donde se activan exactamente K expertos por token, y (2) la asignación uniforme de expertos en todas las capas. Este artículo presenta DynaMoE, un novedoso marco MoE que relaja ambas restricciones mediante una activación dinámica de expertos a nivel de token y una asignación de capacidad adaptativa por capas. DynaMoE introduce un mecanismo de enrutamiento fundamentado donde el número de expertos activos por token varía según la complejidad de la entrada. Concurrentemente, el marco implementa seis estrategias de programación distintas para distribuir la capacidad de los expertos a lo largo de la profundidad de la red, incluyendo patrones descendentes, ascendentes, piramidales y de onda. Analizamos teóricamente las ganancias de expresividad del enrutamiento dinámico y derivamos límites sobre la eficiencia computacional. A través de extensos experimentos en MNIST, Fashion-MNIST, CIFAR-10 (clasificación de imágenes) y Recycling-the-Web (modelado de lenguaje) a través de múltiples escalas de modelos, demostramos que DynaMoE logra una eficiencia de parámetros superior en comparación con los baselines estáticos. Nuestro hallazgo clave es que las programaciones óptimas de expertos dependen de la tarea y la escala: las programaciones descendentes (concentrando capacidad en las primeras capas) superan a los baselines uniformes en clasificación de imágenes. Para el modelado de lenguaje, las programaciones óptimas varían según el tamaño del modelo, siendo descendente para Tiny, ascendente para Small y uniforme para Medium. Además, el enrutamiento dinámico reduce la varianza del gradiente durante el entrenamiento, conduciendo a una estabilidad de convergencia mejorada. DynaMoE establece un nuevo marco para la computación adaptable en redes neuronales, proporcionando una guía fundamentada para el diseño de arquitecturas MoE.

English

Mixture-of-Experts (MoE) architectures have emerged as a powerful paradigm for scaling neural networks while maintaining computational efficiency. However, standard MoE implementations rely on two rigid design assumptions: (1) fixed Top-K routing where exactly K experts are activated per token, and (2) uniform expert allocation across all layers. This paper introduces DynaMoE, a novel MoE framework that relaxes both constraints through dynamic token-level expert activation and layer-wise adaptive capacity allocation. DynaMoE introduces a principled routing mechanism where the number of active experts per token varies based on input complexity. Concurrently, the framework implements six distinct scheduling strategies for distributing expert capacity across network depth, including descending, ascending, pyramid, and wave patterns. We theoretically analyze the expressivity gains of dynamic routing and derive bounds on computational efficiency. Through extensive experiments on MNIST, Fashion-MNIST, CIFAR-10 (image classification), and Recycling-the-Web (language modeling) across multiple model scales, we demonstrate that DynaMoE achieves superior parameter efficiency compared to static baselines. Our key finding is that optimal expert schedules are task- and scale-dependent: descending schedules (concentrating capacity in early layers) outperform uniform baselines on image classification. For language modeling, optimal schedules vary by model size, descending for Tiny, ascending for Small, and uniform for Medium. Furthermore, dynamic routing reduces gradient variance during training, leading to improved convergence stability. DynaMoE establishes a new framework for adaptive computation in neural networks, providing principled guidance for MoE architecture design.