Fokussierung auf das Wesentliche: Salienz-nutzendes präzises Routing für Diffusions-MoE

Zusammenfassung

Mixture-of-Experts (MoE)-Architekturen haben sich als leistungsstarkes Paradigma zur Skalierung von Diffusionsmodellen in der visuellen Generierung erwiesen. Jüngste Fortschritte konzentrieren sich darauf, Rechenressourcen adaptiv über verschiedene Token zu verteilen, um Effizienz und Leistung zu verbessern. Wir identifizieren jedoch ein Routing-Zuordnungsproblem in bestehenden Diffusions-MoE-Frameworks: Der Router ist nicht in der Lage, salienten Token präzise mehr Rechenressourcen zuzuweisen. Unsere Analyse führt dieses Versagen auf die Abhängigkeit des Routers von rauschverzerrten latenten Merkmalen während des gesamten Entrauschungsprozesses zurück. Solches stochastisches Rauschen verschleiert die kritischen strukturellen und texturalen Informationen und hindert den Router daran, saliente Token effektiv zu unterscheiden. Um dies zu adressieren, schlagen wir SharpMoE vor, ein Post-Training-Framework mit einem salienzgesteuerten präzisen Routing-Mechanismus, der saubere latente Merkmale als rauschfreies Signal zur Steuerung des Routings nutzt. Durch die Umgehung der rauschverzerrten Eingaben bietet SharpMoE dem Router eine klare Salienzsteuerung und ermöglicht die Identifikation saliener Token selbst in Phasen hohen Rauschens. Darüber hinaus führen wir einen Trajektorien-Routing-Verlust ein, um die Ressourcenzuteilung entlang der mehrstufigen Entrauschungstrajektorie zu beschränken, was eine präzise Ressourcenallokation während des Generierungsablaufs sicherstellt. Umfangreiche Experimente belegen, dass SharpMoE als vielseitige Plug-and-Play-Lösung dient, die vortrainierte, konvergierte MoE-Modelle weiter verbessert und in der visuellen Generierung Spitzenleistungen erzielt.

English

Mixture-of-Experts (MoE) architectures have emerged as a powerful paradigm for scaling diffusion models in visual generation. Recent advancements have focused on adaptively allocating computational resources across diverse tokens to improve efficiency and performance. However, we identify a routing assignment problem in existing diffusion MoE frameworks: the router fails to accurately allocate more computational resources to salient tokens. Our analysis attributes this failure to the router's reliance on noise-corrupted latent features throughout the denoising process. Such stochastic noise obscures the critical structural and textural information, thereby preventing the router from effectively distinguishing salient tokens. To address this, we propose SharpMoE, a post-training framework with a saliency-harnessing accurate routing mechanism, which utilizes clean latent features as a noise-free guidance signal for routing. By bypassing the noise-distorted inputs, SharpMoE provides the router with clear saliency guidance, enabling the identification of salient tokens even in high-noise stages. Furthermore, we introduce a trajectory routing loss to constrain the compute allocation throughout the multi-step denoising trajectory, ensuring precise resource allocation along the generation rollout. Extensive experiments demonstrate that SharpMoE serves as a versatile, plug-and-play solution that further enhances the pretrained, converged MoE models, achieving state-of-the-art performance in visual generation.