ZePo: 빠른 샘플링으로 하는 제로샷 초상화 스타일화

ZePo: Zero-Shot Portrait Stylization with Faster Sampling

August 10, 2024

저자: Jin Liu, Huaibo Huang, Jie Cao, Ran He

cs.AI

초록

확산 기반 텍스트 대 이미지 생성 모델은 미술 콘텐츠 합성 분야를 크게 발전시켰습니다. 그러나 현재의 초상화 스타일화 방법은 일반적으로 예시를 기반으로 한 모델 세부 조정이 필요하거나 DDIM 역전을 사용하여 이미지를 소음 공간으로 되돌리는 것이 필요한데, 이는 이미지 생성 과정을 상당히 느리게 만듭니다. 이러한 제한을 극복하기 위해 본 논문은 단순히 네 번의 샘플링 단계만으로 콘텐츠와 스타일 특징 융합을 달성하는 확산 모델을 기반으로 한 역전 없는 초상화 스타일화 프레임워크를 제안합니다. 우리는 일관성 증류를 사용하는 잠재 일관성 모델이 소음이 있는 이미지로부터 대표적인 일관성 특징을 효과적으로 추출할 수 있다는 것을 관찰했습니다. 콘텐츠 및 스타일 이미지로부터 추출된 일관성 특징을 혼합하기 위해 우리는 대상 이미지의 주의 공간 내에서 콘텐츠와 스타일 특징을 세심하게 병합하는 스타일 강화 주의 제어 기술을 소개합니다. 더불어, 일관성 특징 내의 중복 특징을 융합하는 전략을 제안하여 주의 제어의 계산 부하를 줄이고자 합니다. 광범위한 실험을 통해 우리가 제안한 프레임워크가 스타일화 효율성과 충실성을 향상시키는 데 효과적임을 검증했습니다. 코드는 https://github.com/liujin112/ZePo에서 확인할 수 있습니다.

English

Diffusion-based text-to-image generation models have significantly advanced the field of art content synthesis. However, current portrait stylization methods generally require either model fine-tuning based on examples or the employment of DDIM Inversion to revert images to noise space, both of which substantially decelerate the image generation process. To overcome these limitations, this paper presents an inversion-free portrait stylization framework based on diffusion models that accomplishes content and style feature fusion in merely four sampling steps. We observed that Latent Consistency Models employing consistency distillation can effectively extract representative Consistency Features from noisy images. To blend the Consistency Features extracted from both content and style images, we introduce a Style Enhancement Attention Control technique that meticulously merges content and style features within the attention space of the target image. Moreover, we propose a feature merging strategy to amalgamate redundant features in Consistency Features, thereby reducing the computational load of attention control. Extensive experiments have validated the effectiveness of our proposed framework in enhancing stylization efficiency and fidelity. The code is available at https://github.com/liujin112/ZePo.