Experts herbedraden tijdens uitvoering: Continue herroutering voor betere online aanpassing in Mixture-of-Expert-modellen

Rewiring Experts on the Fly:Continuous Rerouting for Better Online Adaptation in Mixture-of-Expert models

October 16, 2025

Auteurs: Guinan Su, Yanwu Yang, Li Shen, Lu Yin, Shiwei Liu, Jonas Geiping

cs.AI

Samenvatting

Mixture-of-Experts (MoE)-modellen bereiken efficiënte schaalbaarheid door middel van sparse expert-activatie, maar lijden vaak onder suboptimale routeringsbeslissingen vanwege distributieverschuivingen tijdens implementatie. Hoewel bestaande methoden voor testtijd-aanpassing deze problemen mogelijk zouden kunnen aanpakken, richten deze zich voornamelijk op dense modellen en vereisen ze toegang tot externe data, wat hun praktische toepasbaarheid op MoE-architecturen beperkt. Wij ontdekken echter dat, in plaats van te vertrouwen op referentiedata, we de selectie van MoE-experts on-the-fly kunnen optimaliseren op basis van alleen de inputcontext. Daarom stellen we een data-vrij, online testtijd-framework voor dat continu de routeringsbeslissingen van MoE aanpast tijdens tekstgeneratie, zonder externe supervisie of data. Onze methode wisselt tussen twee fasen: Tijdens de prefill-fase, en later in regelmatige intervallen, optimaliseren we de routeringsbeslissingen van het model met behulp van zelfsupervisie op basis van de reeds gegenereerde sequentie. Vervolgens genereren we tekst zoals normaal, waarbij de aangepaste router behouden blijft tot de volgende aanpassing. We implementeren dit via lichtgewicht additieve vectoren die alleen de router-logits in geselecteerde lagen bijwerken, waardoor de rekenkundige efficiëntie behouden blijft en over-aanpassing wordt voorkomen. De experimentele resultaten tonen consistente prestatieverbeteringen op uitdagende redeneertaken, terwijl robuustheid tegen contextverschuivingen behouden blijft. Zo behaalt onze methode bijvoorbeeld een verbetering van 5,5% op HumanEval met OLMoE. Bovendien, vanwege zijn plug-and-play-eigenschap, vult onze methode natuurlijk bestaande testtijd-schaaltechnieken aan, zoals het behalen van gemiddelde winsten van 6% wanneer gecombineerd met self-consistency op DeepSeek-V2-Lite.

English

Mixture-of-Experts (MoE) models achieve efficient scaling through sparse expert activation, but often suffer from suboptimal routing decisions due to distribution shifts in deployment. While existing test-time adaptation methods could potentially address these issues, they primarily focus on dense models and require access to external data, limiting their practical applicability to MoE architectures. However, we find that, instead of relying on reference data, we can optimize MoE expert selection on-the-fly based only on input context. As such, we propose a data-free, online test-time framework that continuously adapts MoE routing decisions during text generation without external supervision or data. Our method cycles between two phases: During the prefill stage, and later in regular intervals, we optimize the routing decisions of the model using self-supervision based on the already generated sequence. Then, we generate text as normal, maintaining the modified router until the next adaption. We implement this through lightweight additive vectors that only update router logits in selected layers, maintaining computational efficiency while preventing over-adaptation. The experimental results show consistent performance gains on challenging reasoning tasks while maintaining robustness to context shifts. For example, our method achieves a 5.5\% improvement on HumanEval with OLMoE. Furthermore, owing to its plug-and-play property, our method naturally complements existing test-time scaling techniques, e.g., achieving 6\% average gains when incorporated with self-consistency on DeepSeek-V2-Lite.