Riorganizzazione Dinamica degli Esperti: Rerouting Continuo per un Miglior Adattamento Online nei Modelli Mixture-of-Experts

Rewiring Experts on the Fly:Continuous Rerouting for Better Online Adaptation in Mixture-of-Expert models

October 16, 2025

Autori: Guinan Su, Yanwu Yang, Li Shen, Lu Yin, Shiwei Liu, Jonas Geiping

cs.AI

Abstract

I modelli Mixture-of-Experts (MoE) raggiungono un ridimensionamento efficiente attraverso l'attivazione sparsa degli esperti, ma spesso soffrono di decisioni di routing subottimali a causa di cambiamenti nella distribuzione durante il deployment. Sebbene i metodi esistenti di adattamento al tempo di test potrebbero potenzialmente affrontare questi problemi, si concentrano principalmente su modelli densi e richiedono l'accesso a dati esterni, limitando la loro applicabilità pratica alle architetture MoE. Tuttavia, abbiamo scoperto che, invece di fare affidamento su dati di riferimento, possiamo ottimizzare la selezione degli esperti MoE al volo basandoci solo sul contesto di input. Pertanto, proponiamo un framework online e senza dati per l'adattamento al tempo di test che adatta continuamente le decisioni di routing MoE durante la generazione di testo senza supervisione o dati esterni. Il nostro metodo alterna due fasi: durante la fase di prefill e successivamente a intervalli regolari, ottimizziamo le decisioni di routing del modello utilizzando l'auto-supervisione basata sulla sequenza già generata. Poi, generiamo testo normalmente, mantenendo il router modificato fino al prossimo adattamento. Implementiamo questo approccio attraverso vettori additivi leggeri che aggiornano solo i logit del router negli strati selezionati, mantenendo l'efficienza computazionale e prevenendo l'over-adaptation. I risultati sperimentali mostrano miglioramenti consistenti nelle prestazioni su compiti di ragionamento complessi, mantenendo la robustezza ai cambiamenti di contesto. Ad esempio, il nostro metodo raggiunge un miglioramento del 5,5\% su HumanEval con OLMoE. Inoltre, grazie alla sua proprietà plug-and-play, il nostro metodo si integra naturalmente con le tecniche esistenti di ridimensionamento al tempo di test, ad esempio ottenendo un miglioramento medio del 6\% quando combinato con la self-consistency su DeepSeek-V2-Lite.

English

Mixture-of-Experts (MoE) models achieve efficient scaling through sparse expert activation, but often suffer from suboptimal routing decisions due to distribution shifts in deployment. While existing test-time adaptation methods could potentially address these issues, they primarily focus on dense models and require access to external data, limiting their practical applicability to MoE architectures. However, we find that, instead of relying on reference data, we can optimize MoE expert selection on-the-fly based only on input context. As such, we propose a data-free, online test-time framework that continuously adapts MoE routing decisions during text generation without external supervision or data. Our method cycles between two phases: During the prefill stage, and later in regular intervals, we optimize the routing decisions of the model using self-supervision based on the already generated sequence. Then, we generate text as normal, maintaining the modified router until the next adaption. We implement this through lightweight additive vectors that only update router logits in selected layers, maintaining computational efficiency while preventing over-adaptation. The experimental results show consistent performance gains on challenging reasoning tasks while maintaining robustness to context shifts. For example, our method achieves a 5.5\% improvement on HumanEval with OLMoE. Furthermore, owing to its plug-and-play property, our method naturally complements existing test-time scaling techniques, e.g., achieving 6\% average gains when incorporated with self-consistency on DeepSeek-V2-Lite.