Переподключение экспертов на лету: непрерывная перенаправление для улучшения онлайн-адаптации в моделях смеси экспертов

Rewiring Experts on the Fly:Continuous Rerouting for Better Online Adaptation in Mixture-of-Expert models

October 16, 2025

Авторы: Guinan Su, Yanwu Yang, Li Shen, Lu Yin, Shiwei Liu, Jonas Geiping

cs.AI

Аннотация

Модели типа Mixture-of-Experts (MoE) достигают эффективного масштабирования за счет разреженной активации экспертов, но часто страдают от субоптимальных решений маршрутизации из-за сдвигов распределения при развертывании. Хотя существующие методы адаптации на этапе тестирования потенциально могут решить эти проблемы, они в основном ориентированы на плотные модели и требуют доступа к внешним данным, что ограничивает их практическую применимость для архитектур MoE. Однако мы обнаружили, что вместо использования эталонных данных можно оптимизировать выбор экспертов MoE на лету, основываясь только на контексте входных данных. Таким образом, мы предлагаем фреймворк для адаптации на этапе тестирования, который не требует данных и работает в режиме реального времени, непрерывно адаптируя решения маршрутизации MoE в процессе генерации текста без внешнего контроля или данных. Наш метод чередует две фазы: на этапе предварительного заполнения, а затем через регулярные интервалы, мы оптимизируем решения маршрутизации модели с использованием самоконтроля на основе уже сгенерированной последовательности. Затем мы генерируем текст как обычно, сохраняя модифицированный маршрутизатор до следующей адаптации. Мы реализуем это с помощью легковесных аддитивных векторов, которые обновляют логиты маршрутизатора только в выбранных слоях, сохраняя вычислительную эффективность и предотвращая избыточную адаптацию. Экспериментальные результаты показывают стабильное улучшение производительности на сложных задачах логического рассуждения при сохранении устойчивости к сдвигам контекста. Например, наш метод демонстрирует улучшение на 5,5% на тесте HumanEval с моделью OLMoE. Более того, благодаря своей plug-and-play природе, наш метод естественным образом дополняет существующие техники масштабирования на этапе тестирования, например, обеспечивая средний прирост на 6% при использовании совместно с методом самосогласованности на модели DeepSeek-V2-Lite.

English

Mixture-of-Experts (MoE) models achieve efficient scaling through sparse expert activation, but often suffer from suboptimal routing decisions due to distribution shifts in deployment. While existing test-time adaptation methods could potentially address these issues, they primarily focus on dense models and require access to external data, limiting their practical applicability to MoE architectures. However, we find that, instead of relying on reference data, we can optimize MoE expert selection on-the-fly based only on input context. As such, we propose a data-free, online test-time framework that continuously adapts MoE routing decisions during text generation without external supervision or data. Our method cycles between two phases: During the prefill stage, and later in regular intervals, we optimize the routing decisions of the model using self-supervision based on the already generated sequence. Then, we generate text as normal, maintaining the modified router until the next adaption. We implement this through lightweight additive vectors that only update router logits in selected layers, maintaining computational efficiency while preventing over-adaptation. The experimental results show consistent performance gains on challenging reasoning tasks while maintaining robustness to context shifts. For example, our method achieves a 5.5\% improvement on HumanEval with OLMoE. Furthermore, owing to its plug-and-play property, our method naturally complements existing test-time scaling techniques, e.g., achieving 6\% average gains when incorporated with self-consistency on DeepSeek-V2-Lite.