Stilmischung von Experten für vielfältige Bildstilisierung
Mixture of Style Experts for Diverse Image Stylization
March 17, 2026
Autoren: Shihao Zhu, Ziheng Ouyang, Yijia Kang, Qilong Wang, Mi Zhou, Bo Li, Ming-Ming Cheng, Qibin Hou
cs.AI
Zusammenfassung
Diffusionsbasierte Stilisierung hat bedeutende Fortschritte erzielt, doch bestehende Methoden beschränken sich auf farbgetriebene Transformationen und vernachlässigen komplexe Semantik und Materialdetails. Wir stellen StyleExpert vor, ein semantikbewusstes Framework basierend auf Mixture of Experts (MoE). Unser Framework verwendet einen einheitlichen Stil-Encoder, der auf unserem umfangreichen Datensatz von Inhalts-Stil-stilisierten Tripletts trainiert wurde, um diverse Stile in einen konsistenten latenten Raum einzubetten. Diese Einbettung wird dann verwendet, um einen ähnlichkeitsbewussten Gating-Mechanismus zu steuern, der Stile dynamisch an spezialisierte Experten innerhalb der MoE-Architektur weiterleitet. Durch die Nutzung dieser MoE-Architektur bewältigt unsere Methode geschickt diverse Stile über mehrere semantische Ebenen hinweg, von flachen Texturen bis zu tiefgreifender Semantik. Umfangreiche Experimente zeigen, dass StyleExpert bestehende Ansätze in der Bewahrung von Semantik und Materialdetails übertrifft und gleichzeitig eine Generalisierung auf unbekannte Stile ermöglicht. Unser Code und die gesammelten Bilder sind auf der Projektseite verfügbar: https://hh-lg.github.io/StyleExpert-Page/.
English
Diffusion-based stylization has advanced significantly, yet existing methods are limited to color-driven transformations, neglecting complex semantics and material details.We introduce StyleExpert, a semantic-aware framework based on the Mixture of Experts (MoE). Our framework employs a unified style encoder, trained on our large-scale dataset of content-style-stylized triplets, to embed diverse styles into a consistent latent space. This embedding is then used to condition a similarity-aware gating mechanism, which dynamically routes styles to specialized experts within the MoE architecture. Leveraging this MoE architecture, our method adeptly handles diverse styles spanning multiple semantic levels, from shallow textures to deep semantics. Extensive experiments show that StyleExpert outperforms existing approaches in preserving semantics and material details, while generalizing to unseen styles. Our code and collected images are available at the project page: https://hh-lg.github.io/StyleExpert-Page/.