ZePo: Estilização de Retratos sem Uso de Exemplos com Amostragem Mais Rápida

ZePo: Zero-Shot Portrait Stylization with Faster Sampling

August 10, 2024

Autores: Jin Liu, Huaibo Huang, Jie Cao, Ran He

cs.AI

Resumo

Os modelos de geração de texto para imagem baseados em difusão avançaram significativamente o campo de síntese de conteúdo artístico. No entanto, os métodos atuais de estilização de retratos geralmente exigem ajustes finos no modelo com base em exemplos ou o uso da Inversão DDIM para reverter imagens para o espaço de ruído, ambos os quais desaceleram substancialmente o processo de geração de imagens. Para superar essas limitações, este artigo apresenta um framework de estilização de retrato sem inversão baseado em modelos de difusão que realiza a fusão de características de conteúdo e estilo em meramente quatro etapas de amostragem. Observamos que os Modelos de Consistência Latente que empregam destilação de consistência podem extrair efetivamente Características de Consistência representativas de imagens ruidosas. Para mesclar as Características de Consistência extraídas de imagens de conteúdo e estilo, introduzimos uma técnica de Controle de Atenção de Aprimoramento de Estilo que mescla meticulosamente características de conteúdo e estilo dentro do espaço de atenção da imagem alvo. Além disso, propomos uma estratégia de fusão de características para amalgamar características redundantes em Características de Consistência, reduzindo assim a carga computacional do controle de atenção. Experimentos extensivos validaram a eficácia de nosso framework proposto na melhoria da eficiência e fidelidade da estilização. O código está disponível em https://github.com/liujin112/ZePo.

English

Diffusion-based text-to-image generation models have significantly advanced the field of art content synthesis. However, current portrait stylization methods generally require either model fine-tuning based on examples or the employment of DDIM Inversion to revert images to noise space, both of which substantially decelerate the image generation process. To overcome these limitations, this paper presents an inversion-free portrait stylization framework based on diffusion models that accomplishes content and style feature fusion in merely four sampling steps. We observed that Latent Consistency Models employing consistency distillation can effectively extract representative Consistency Features from noisy images. To blend the Consistency Features extracted from both content and style images, we introduce a Style Enhancement Attention Control technique that meticulously merges content and style features within the attention space of the target image. Moreover, we propose a feature merging strategy to amalgamate redundant features in Consistency Features, thereby reducing the computational load of attention control. Extensive experiments have validated the effectiveness of our proposed framework in enhancing stylization efficiency and fidelity. The code is available at https://github.com/liujin112/ZePo.