Réaffectation dynamique des experts : Reroutage continu pour une meilleure adaptation en ligne dans les modèles de mélange d'experts

Rewiring Experts on the Fly:Continuous Rerouting for Better Online Adaptation in Mixture-of-Expert models

October 16, 2025

papers.authors: Guinan Su, Yanwu Yang, Li Shen, Lu Yin, Shiwei Liu, Jonas Geiping

cs.AI

papers.abstract

Les modèles de type Mixture-of-Experts (MoE) permettent un passage à l'échelle efficace grâce à l'activation parcimonieuse des experts, mais souffrent souvent de décisions de routage sous-optimales en raison de décalages de distribution lors du déploiement. Bien que les méthodes d'adaptation au moment du test existantes pourraient potentiellement résoudre ces problèmes, elles se concentrent principalement sur les modèles denses et nécessitent l'accès à des données externes, limitant ainsi leur applicabilité pratique aux architectures MoE. Cependant, nous constatons qu'au lieu de s'appuyer sur des données de référence, il est possible d'optimiser la sélection des experts MoE en temps réel en se basant uniquement sur le contexte d'entrée. Ainsi, nous proposons un cadre de test en ligne sans données qui adapte continuellement les décisions de routage MoE pendant la génération de texte, sans supervision ou données externes. Notre méthode alterne entre deux phases : pendant l'étape de préremplissage, puis à intervalles réguliers, nous optimisons les décisions de routage du modèle en utilisant l'auto-supervision basée sur la séquence déjà générée. Ensuite, nous générons du texte normalement, en conservant le routeur modifié jusqu'à la prochaine adaptation. Nous mettons en œuvre cela grâce à des vecteurs additifs légers qui ne mettent à jour que les logits du routeur dans les couches sélectionnées, préservant ainsi l'efficacité computationnelle tout en évitant la sur-adaptation. Les résultats expérimentaux montrent des gains de performance constants sur des tâches de raisonnement complexes tout en maintenant une robustesse face aux décalages de contexte. Par exemple, notre méthode améliore de 5,5 % les performances sur HumanEval avec OLMoE. De plus, grâce à sa propriété plug-and-play, notre méthode complète naturellement les techniques de mise à l'échelle au moment du test existantes, par exemple en obtenant des gains moyens de 6 % lorsqu'elle est combinée avec l'auto-cohérence sur DeepSeek-V2-Lite.

English

Mixture-of-Experts (MoE) models achieve efficient scaling through sparse expert activation, but often suffer from suboptimal routing decisions due to distribution shifts in deployment. While existing test-time adaptation methods could potentially address these issues, they primarily focus on dense models and require access to external data, limiting their practical applicability to MoE architectures. However, we find that, instead of relying on reference data, we can optimize MoE expert selection on-the-fly based only on input context. As such, we propose a data-free, online test-time framework that continuously adapts MoE routing decisions during text generation without external supervision or data. Our method cycles between two phases: During the prefill stage, and later in regular intervals, we optimize the routing decisions of the model using self-supervision based on the already generated sequence. Then, we generate text as normal, maintaining the modified router until the next adaption. We implement this through lightweight additive vectors that only update router logits in selected layers, maintaining computational efficiency while preventing over-adaptation. The experimental results show consistent performance gains on challenging reasoning tasks while maintaining robustness to context shifts. For example, our method achieves a 5.5\% improvement on HumanEval with OLMoE. Furthermore, owing to its plug-and-play property, our method naturally complements existing test-time scaling techniques, e.g., achieving 6\% average gains when incorporated with self-consistency on DeepSeek-V2-Lite.