ZePo: Stilizzazione Ritrattistica Zero-Shot con Campionamento Accelerato

ZePo: Zero-Shot Portrait Stylization with Faster Sampling

August 10, 2024

Autori: Jin Liu, Huaibo Huang, Jie Cao, Ran He

cs.AI

Abstract

I modelli di generazione di immagini da testo basati su diffusione hanno fatto avanzare significativamente il campo della sintesi di contenuti artistici. Tuttavia, i metodi attuali di stilizzazione di ritratti richiedono generalmente un fine-tuning del modello basato su esempi o l'utilizzo di DDIM Inversion per riportare le immagini nello spazio del rumore, entrambi approcci che rallentano sostanzialmente il processo di generazione delle immagini. Per superare queste limitazioni, questo articolo presenta un framework di stilizzazione di ritratti senza inversione basato su modelli di diffusione che realizza la fusione di contenuto e stile in soli quattro passaggi di campionamento. Abbiamo osservato che i Latent Consistency Models che impiegano la distillazione di consistenza possono estrarre efficacemente Consistency Features rappresentative da immagini rumorose. Per fondere le Consistency Features estratte sia dalle immagini di contenuto che da quelle di stile, introduciamo una tecnica di Style Enhancement Attention Control che unisce meticolosamente le caratteristiche di contenuto e stile all'interno dello spazio di attenzione dell'immagine target. Inoltre, proponiamo una strategia di fusione delle caratteristiche per amalgamare le feature ridondanti nelle Consistency Features, riducendo così il carico computazionale del controllo dell'attenzione. Esperimenti estensivi hanno validato l'efficacia del nostro framework proposto nel migliorare l'efficienza e la fedeltà della stilizzazione. Il codice è disponibile all'indirizzo https://github.com/liujin112/ZePo.

English

Diffusion-based text-to-image generation models have significantly advanced the field of art content synthesis. However, current portrait stylization methods generally require either model fine-tuning based on examples or the employment of DDIM Inversion to revert images to noise space, both of which substantially decelerate the image generation process. To overcome these limitations, this paper presents an inversion-free portrait stylization framework based on diffusion models that accomplishes content and style feature fusion in merely four sampling steps. We observed that Latent Consistency Models employing consistency distillation can effectively extract representative Consistency Features from noisy images. To blend the Consistency Features extracted from both content and style images, we introduce a Style Enhancement Attention Control technique that meticulously merges content and style features within the attention space of the target image. Moreover, we propose a feature merging strategy to amalgamate redundant features in Consistency Features, thereby reducing the computational load of attention control. Extensive experiments have validated the effectiveness of our proposed framework in enhancing stylization efficiency and fidelity. The code is available at https://github.com/liujin112/ZePo.