ZePo: Zero-Shot Portretstilering met Snellere Sampling

ZePo: Zero-Shot Portrait Stylization with Faster Sampling

August 10, 2024

Auteurs: Jin Liu, Huaibo Huang, Jie Cao, Ran He

cs.AI

Samenvatting

Diffusiegebaseerde tekst-naar-beeld generatiemodellen hebben het veld van kunstmatige inhoudssynthese aanzienlijk vooruitgeholpen. Huidige methoden voor portretstilisering vereisen echter over het algemeen ofwel model fine-tuning op basis van voorbeelden, ofwel het gebruik van DDIM Inversion om afbeeldingen terug te brengen naar de ruisruimte, wat beide het beeldgeneratieproces aanzienlijk vertraagt. Om deze beperkingen te overwinnen, presenteert dit artikel een inversievrij portretstiliseringsraamwerk gebaseerd op diffusiemodellen dat de fusie van inhouds- en stijleigenschappen in slechts vier bemonsteringsstappen bereikt. We hebben waargenomen dat Latent Consistency Models die consistentiedistillatie gebruiken, effectief representatieve Consistentiekenmerken kunnen extraheren uit ruisachtige afbeeldingen. Om de Consistentiekenmerken die uit zowel inhouds- als stijlafbeeldingen zijn geëxtraheerd te combineren, introduceren we een Stijlverbeterings Aandachtcontrole techniek die zorgvuldig inhouds- en stijleigenschappen samenvoegt binnen de aandachtruimte van de doelafbeelding. Bovendien stellen we een kenmerksamenvoegingsstrategie voor om redundante kenmerken in Consistentiekenmerken samen te voegen, waardoor de rekenlast van aandachtcontrole wordt verminderd. Uitgebreide experimenten hebben de effectiviteit van ons voorgestelde raamwerk in het verbeteren van stiliseringsefficiëntie en -trouw gevalideerd. De code is beschikbaar op https://github.com/liujin112/ZePo.

English

Diffusion-based text-to-image generation models have significantly advanced the field of art content synthesis. However, current portrait stylization methods generally require either model fine-tuning based on examples or the employment of DDIM Inversion to revert images to noise space, both of which substantially decelerate the image generation process. To overcome these limitations, this paper presents an inversion-free portrait stylization framework based on diffusion models that accomplishes content and style feature fusion in merely four sampling steps. We observed that Latent Consistency Models employing consistency distillation can effectively extract representative Consistency Features from noisy images. To blend the Consistency Features extracted from both content and style images, we introduce a Style Enhancement Attention Control technique that meticulously merges content and style features within the attention space of the target image. Moreover, we propose a feature merging strategy to amalgamate redundant features in Consistency Features, thereby reducing the computational load of attention control. Extensive experiments have validated the effectiveness of our proposed framework in enhancing stylization efficiency and fidelity. The code is available at https://github.com/liujin112/ZePo.