Смесь экспертов по стилю для разнообразной стилизации изображений
Mixture of Style Experts for Diverse Image Stylization
March 17, 2026
Авторы: Shihao Zhu, Ziheng Ouyang, Yijia Kang, Qilong Wang, Mi Zhou, Bo Li, Ming-Ming Cheng, Qibin Hou
cs.AI
Аннотация
Стилизация на основе диффузионных моделей достигла значительного прогресса, однако существующие методы ограничиваются цветовыми преобразованиями, игнорируя сложную семантику и детали материалов. Мы представляем StyleExpert — семантически-ориентированную архитектуру, основанную на принципе смеси экспертов (MoE). Наша система использует унифицированный кодировщик стилей, обученный на масштабном наборе данных из троек «контент-стиль-стилизованное изображение», для встраивания разнообразных стилей в согласованное латентное пространство. Полученные эмбеддинги используются для управления механизмом маршрутизации с учетом сходства, который динамически распределяет стили между специализированными экспертами в архитектуре MoE. Благодаря этой архитектуре наш метод эффективно обрабатывает разнообразные стили на различных семантических уровнях — от поверхностных текстур до глубокой семантики. Многочисленные эксперименты демонстрируют, что StyleExpert превосходит существующие подходы в сохранении семантики и деталей материалов, одновременно обобщаясь на неизвестные стили. Наш код и собранные изображения доступны на странице проекта: https://hh-lg.github.io/StyleExpert-Page/.
English
Diffusion-based stylization has advanced significantly, yet existing methods are limited to color-driven transformations, neglecting complex semantics and material details.We introduce StyleExpert, a semantic-aware framework based on the Mixture of Experts (MoE). Our framework employs a unified style encoder, trained on our large-scale dataset of content-style-stylized triplets, to embed diverse styles into a consistent latent space. This embedding is then used to condition a similarity-aware gating mechanism, which dynamically routes styles to specialized experts within the MoE architecture. Leveraging this MoE architecture, our method adeptly handles diverse styles spanning multiple semantic levels, from shallow textures to deep semantics. Extensive experiments show that StyleExpert outperforms existing approaches in preserving semantics and material details, while generalizing to unseen styles. Our code and collected images are available at the project page: https://hh-lg.github.io/StyleExpert-Page/.