전문가 즉시 재구성: Mixture-of-Expert 모델의 더 나은 온라인 적응을 위한 지속적인 재라우팅

초록

전문가 혼합(Mixture-of-Experts, MoE) 모델은 희소 전문가 활성화를 통해 효율적인 확장을 달성하지만, 배포 시 발생하는 분포 변화로 인해 최적이 아닌 라우팅 결정을 내리는 경우가 많다. 기존의 테스트 시간 적응 방법이 이러한 문제를 해결할 가능성이 있지만, 이들은 주로 밀집 모델에 초점을 맞추고 외부 데이터에 대한 접근을 필요로 하여 MoE 아키텍처에 대한 실용적 적용 가능성을 제한한다. 그러나 우리는 참조 데이터에 의존하는 대신 입력 컨텍스트만을 기반으로 MoE 전문가 선택을 실시간으로 최적화할 수 있음을 발견했다. 이를 바탕으로, 우리는 외부 감독이나 데이터 없이 텍스트 생성 중 MoE 라우팅 결정을 지속적으로 적응시키는 데이터 없는 온라인 테스트 시간 프레임워크를 제안한다. 우리의 방법은 두 단계를 순환한다: 프리필 단계 동안 및 이후 정기적으로, 이미 생성된 시퀀스를 기반으로 자기 감독을 사용하여 모델의 라우팅 결정을 최적화한다. 그런 다음, 수정된 라우터를 다음 적응까지 유지하며 정상적으로 텍스트를 생성한다. 이를 위해 선택된 레이어에서만 라우터 로짓을 업데이트하는 경량 가산 벡터를 구현하여 계산 효율성을 유지하면서 과적응을 방지한다. 실험 결과는 컨텍스트 변화에 대한 견고성을 유지하면서도 도전적인 추론 작업에서 일관된 성능 향상을 보여준다. 예를 들어, 우리의 방법은 OLMoE에서 HumanEval에서 5.5%의 개선을 달성한다. 또한, 플러그 앤 플레이 특성 덕분에 우리의 방법은 기존의 테스트 시간 확장 기술과 자연스럽게 보완되며, 예를 들어 DeepSeek-V2-Lite에서 자기 일관성과 결합 시 평균 6%의 이득을 달성한다.

English

Mixture-of-Experts (MoE) models achieve efficient scaling through sparse expert activation, but often suffer from suboptimal routing decisions due to distribution shifts in deployment. While existing test-time adaptation methods could potentially address these issues, they primarily focus on dense models and require access to external data, limiting their practical applicability to MoE architectures. However, we find that, instead of relying on reference data, we can optimize MoE expert selection on-the-fly based only on input context. As such, we propose a data-free, online test-time framework that continuously adapts MoE routing decisions during text generation without external supervision or data. Our method cycles between two phases: During the prefill stage, and later in regular intervals, we optimize the routing decisions of the model using self-supervision based on the already generated sequence. Then, we generate text as normal, maintaining the modified router until the next adaption. We implement this through lightweight additive vectors that only update router logits in selected layers, maintaining computational efficiency while preventing over-adaptation. The experimental results show consistent performance gains on challenging reasoning tasks while maintaining robustness to context shifts. For example, our method achieves a 5.5\% improvement on HumanEval with OLMoE. Furthermore, owing to its plug-and-play property, our method naturally complements existing test-time scaling techniques, e.g., achieving 6\% average gains when incorporated with self-consistency on DeepSeek-V2-Lite.

전문가 즉시 재구성: Mixture-of-Expert 모델의 더 나은 온라인 적응을 위한 지속적인 재라우팅

Rewiring Experts on the Fly:Continuous Rerouting for Better Online Adaptation in Mixture-of-Expert models

초록

Support