Mistura de Especialistas em Estilo para Estilização Diversificada de Imagens
Mixture of Style Experts for Diverse Image Stylization
March 17, 2026
Autores: Shihao Zhu, Ziheng Ouyang, Yijia Kang, Qilong Wang, Mi Zhou, Bo Li, Ming-Ming Cheng, Qibin Hou
cs.AI
Resumo
A estilização baseada em difusão avançou significativamente, mas os métodos existentes limitam-se a transformações orientadas por cor, negligenciando semânticas complexas e detalhes materiais. Apresentamos o StyleExpert, uma estrutura semântica baseada na Mistura de Especialistas (MoE). Nossa estrutura emprega um codificador de estilo unificado, treinado em nosso conjunto de dados em larga escala de triplas conteúdo-estilo-estilizado, para incorporar diversos estilos em um espaço latente consistente. Essa incorporação é então usada para condicionar um mecanismo de gateamento com consciência de similaridade, que roteia dinamicamente os estilos para especialistas específicos dentro da arquitetura MoE. Aproveitando esta arquitetura MoE, nosso método lida habilmente com diversos estilos abrangendo múltiplos níveis semânticos, desde texturas superficiais até semânticas profundas. Experimentos extensivos mostram que o StyleExpert supera as abordagens existentes na preservação de semânticas e detalhes materiais, enquanto generaliza para estilos não vistos. Nosso código e imagens coletadas estão disponíveis na página do projeto: https://hh-lg.github.io/StyleExpert-Page/.
English
Diffusion-based stylization has advanced significantly, yet existing methods are limited to color-driven transformations, neglecting complex semantics and material details.We introduce StyleExpert, a semantic-aware framework based on the Mixture of Experts (MoE). Our framework employs a unified style encoder, trained on our large-scale dataset of content-style-stylized triplets, to embed diverse styles into a consistent latent space. This embedding is then used to condition a similarity-aware gating mechanism, which dynamically routes styles to specialized experts within the MoE architecture. Leveraging this MoE architecture, our method adeptly handles diverse styles spanning multiple semantic levels, from shallow textures to deep semantics. Extensive experiments show that StyleExpert outperforms existing approaches in preserving semantics and material details, while generalizing to unseen styles. Our code and collected images are available at the project page: https://hh-lg.github.io/StyleExpert-Page/.