Mélange d'Experts de Style pour une Stylisation d'Image Diversifiée
Mixture of Style Experts for Diverse Image Stylization
March 17, 2026
Auteurs: Shihao Zhu, Ziheng Ouyang, Yijia Kang, Qilong Wang, Mi Zhou, Bo Li, Ming-Ming Cheng, Qibin Hou
cs.AI
Résumé
La stylisation par diffusion a considérablement progressé, mais les méthodes existantes se limitent à des transformations guidées par la couleur, négligeant la sémantique complexe et les détails matériaux. Nous présentons StyleExpert, un cadre sémantique basé sur le mélange d'experts (MoE). Notre cadre utilise un encodeur de style unifié, entraîné sur notre jeu de données à grande échelle de triplets contenu-style-stylisé, pour intégrer des styles divers dans un espace latent cohérent. Cette représentation est ensuite utilisée pour conditionner un mécanisme d'aiguillage sensible à la similarité, qui achemine dynamiquement les styles vers des experts spécialisés au sein de l'architecture MoE. En tirant parti de cette architecture MoE, notre méthode gère avec habileté des styles variés couvrant plusieurs niveaux sémantiques, des textures superficielles aux sémantiques profondes. Des expériences approfondies montrent que StyleExpert surpasse les approches existantes en préservant la sémantique et les détails matériaux, tout en généralisant à des styles non vus. Notre code et les images collectées sont disponibles sur la page du projet : https://hh-lg.github.io/StyleExpert-Page/.
English
Diffusion-based stylization has advanced significantly, yet existing methods are limited to color-driven transformations, neglecting complex semantics and material details.We introduce StyleExpert, a semantic-aware framework based on the Mixture of Experts (MoE). Our framework employs a unified style encoder, trained on our large-scale dataset of content-style-stylized triplets, to embed diverse styles into a consistent latent space. This embedding is then used to condition a similarity-aware gating mechanism, which dynamically routes styles to specialized experts within the MoE architecture. Leveraging this MoE architecture, our method adeptly handles diverse styles spanning multiple semantic levels, from shallow textures to deep semantics. Extensive experiments show that StyleExpert outperforms existing approaches in preserving semantics and material details, while generalizing to unseen styles. Our code and collected images are available at the project page: https://hh-lg.github.io/StyleExpert-Page/.