DynaMoE: Dynamische Expertaktivierung auf Token-Ebene mit schichtweise adaptiver Kapazität für Mixture-of-Experts-Neuronale Netze
DynaMoE: Dynamic Token-Level Expert Activation with Layer-Wise Adaptive Capacity for Mixture-of-Experts Neural Networks
March 2, 2026
Autoren: Gökdeniz Gülmez
cs.AI
Zusammenfassung
Mixture-of-Experts (MoE)-Architekturen haben sich als leistungsstarkes Paradigma zur Skalierung neuronaler Netze bei gleichzeitiger Wahrung der Recheneffizienz etabliert. Standard-MoE-Implementierungen basieren jedoch auf zwei starren Designannahmen: (1) einem festen Top-K-Routing, bei dem genau K Experten pro Token aktiviert werden, und (2) einer gleichmäßigen Expertenzuweisung über alle Schichten hinweg. Dieses Paper stellt DynaMoE vor, einen neuartigen MoE-Rahmen, der beide Einschränkungen durch dynamische, tokenweise Expertenaktivierung und schichtenweise adaptive Kapazitätszuweisung lockert. DynaMoE führt einen prinzipienbasierten Routing-Mechanismus ein, bei dem die Anzahl aktiver Experten pro Token basierend auf der Eingabekomplexität variiert. Gleichzeitig implementiert das Framework sechs verschiedene Scheduling-Strategien zur Verteilung der Expertenkapazität über die Netzwerktiefe, darunter absteigende, aufsteigende, pyramidale und wellenförmige Muster. Wir analysieren theoretisch die Expressivitätsgewinne durch dynamisches Routing und leiten Grenzen für die Recheneffizienz her. Durch umfangreiche Experimente mit MNIST, Fashion-MNIST, CIFAR-10 (Bildklassifizierung) und Recycling-the-Web (Sprachmodellierung) über mehrere Modellgrößen hinweg demonstrieren wir, dass DynaMoE im Vergleich zu statischen Baseline-Modellen eine überlegene Parametereffizienz erreicht. Unsere zentrale Erkenntnis ist, dass optimale Experten-Zeitpläne aufgaben- und größenabhängig sind: Absteigende Zeitpläne (Konzentration der Kapazität in frühen Schichten) übertreffen gleichmäßige Baseline-Modelle bei der Bildklassifizierung. Für Sprachmodellierung variieren die optimalen Zeitpläne je nach Modellgröße: absteigend für Tiny, aufsteigend für Small und gleichmäßig für Medium. Darüber hinaus reduziert das dynamische Routing die Gradientenvarianz während des Trainings, was zu einer verbesserten Konvergenzstabilität führt. DynaMoE etabliert einen neuen Rahmen für adaptive Berechnungen in neuronalen Netzen und bietet eine prinzipienbasierte Leitlinie für das Design von MoE-Architekturen.
English
Mixture-of-Experts (MoE) architectures have emerged as a powerful paradigm for scaling neural networks while maintaining computational efficiency. However, standard MoE implementations rely on two rigid design assumptions: (1) fixed Top-K routing where exactly K experts are activated per token, and (2) uniform expert allocation across all layers. This paper introduces DynaMoE, a novel MoE framework that relaxes both constraints through dynamic token-level expert activation and layer-wise adaptive capacity allocation. DynaMoE introduces a principled routing mechanism where the number of active experts per token varies based on input complexity. Concurrently, the framework implements six distinct scheduling strategies for distributing expert capacity across network depth, including descending, ascending, pyramid, and wave patterns. We theoretically analyze the expressivity gains of dynamic routing and derive bounds on computational efficiency. Through extensive experiments on MNIST, Fashion-MNIST, CIFAR-10 (image classification), and Recycling-the-Web (language modeling) across multiple model scales, we demonstrate that DynaMoE achieves superior parameter efficiency compared to static baselines. Our key finding is that optimal expert schedules are task- and scale-dependent: descending schedules (concentrating capacity in early layers) outperform uniform baselines on image classification. For language modeling, optimal schedules vary by model size, descending for Tiny, ascending for Small, and uniform for Medium. Furthermore, dynamic routing reduces gradient variance during training, leading to improved convergence stability. DynaMoE establishes a new framework for adaptive computation in neural networks, providing principled guidance for MoE architecture design.