다양한 이미지 스타일화를 위한 스타일 전문가 혼합 기법

Mixture of Style Experts for Diverse Image Stylization

March 17, 2026

저자: Shihao Zhu, Ziheng Ouyang, Yijia Kang, Qilong Wang, Mi Zhou, Bo Li, Ming-Ming Cheng, Qibin Hou

cs.AI

초록

확산 기반 스타일화 기술은 크게 발전했으나, 기존 방법론들은 색상 기반 변환에 국한되어 복잡한 의미 구조와 재질 세부 사항을 간과해왔습니다. 본 연구에서는 의미 구조를 인지하는 Mixture of Experts(MoE) 기반 프레임워크인 StyleExpert를 소개합니다. 우리의 프레임워크는 대규모 콘텐츠-스타일-스타일화 삼중항 데이터셋으로 학습된 통합 스타일 인코더를 활용하여 다양한 스타일을 일관된 잠재 공간에 임베딩합니다. 이 임베딩은 유사성 인지 게이팅 메커니즘을 조건화하는 데 사용되며, 해당 메커니즘은 MoE 아키텍처 내에서 스타일을 전문가 모듈로 동적으로 라우팅합니다. 이러한 MoE 아키텍처를 통해 우리의 방법은 표면적 텍스처부터 심층 의미 수준에 이르는 다양한 스타일을 능숙하게 처리합니다. 폭넓은 실험을 통해 StyleExpert가 의미 구조와 재질 세부 사항 보존에 있어 기존 접근법을 능가하며, 보지 못한 스타일로의 일반화에도 우수함을 입증했습니다. 코드 및 수집 이미지는 프로젝트 페이지(https://hh-lg.github.io/StyleExpert-Page/)에서 확인할 수 있습니다.

English

Diffusion-based stylization has advanced significantly, yet existing methods are limited to color-driven transformations, neglecting complex semantics and material details.We introduce StyleExpert, a semantic-aware framework based on the Mixture of Experts (MoE). Our framework employs a unified style encoder, trained on our large-scale dataset of content-style-stylized triplets, to embed diverse styles into a consistent latent space. This embedding is then used to condition a similarity-aware gating mechanism, which dynamically routes styles to specialized experts within the MoE architecture. Leveraging this MoE architecture, our method adeptly handles diverse styles spanning multiple semantic levels, from shallow textures to deep semantics. Extensive experiments show that StyleExpert outperforms existing approaches in preserving semantics and material details, while generalizing to unseen styles. Our code and collected images are available at the project page: https://hh-lg.github.io/StyleExpert-Page/.