ZePo: Estilización de retratos sin entrenamiento con muestreo más rápido

ZePo: Zero-Shot Portrait Stylization with Faster Sampling

August 10, 2024

Autores: Jin Liu, Huaibo Huang, Jie Cao, Ran He

cs.AI

Resumen

Los modelos de generación de texto a imagen basados en difusión han avanzado significativamente en el campo de la síntesis de contenido artístico. Sin embargo, los métodos actuales de estilización de retratos generalmente requieren o bien un ajuste fino del modelo basado en ejemplos o el empleo de la Inversión DDIM para revertir las imágenes al espacio de ruido, ambos procesos que ralentizan sustancialmente la generación de imágenes. Para superar estas limitaciones, este artículo presenta un marco de estilización de retratos sin inversión basado en modelos de difusión que logra la fusión de rasgos de contenido y estilo en tan solo cuatro pasos de muestreo. Observamos que los Modelos de Consistencia Latente que emplean destilación de consistencia pueden extraer de manera efectiva Rasgos de Consistencia representativos de imágenes ruidosas. Para combinar los Rasgos de Consistencia extraídos de imágenes de contenido y estilo, introducimos una técnica de Control de Atención de Mejora de Estilo que fusiona meticulosamente los rasgos de contenido y estilo dentro del espacio de atención de la imagen objetivo. Además, proponemos una estrategia de fusión de rasgos para amalgamar rasgos redundantes en los Rasgos de Consistencia, reduciendo así la carga computacional del control de atención. Experimentos extensos han validado la efectividad de nuestro marco propuesto en mejorar la eficiencia y fidelidad de la estilización. El código está disponible en https://github.com/liujin112/ZePo.

English

Diffusion-based text-to-image generation models have significantly advanced the field of art content synthesis. However, current portrait stylization methods generally require either model fine-tuning based on examples or the employment of DDIM Inversion to revert images to noise space, both of which substantially decelerate the image generation process. To overcome these limitations, this paper presents an inversion-free portrait stylization framework based on diffusion models that accomplishes content and style feature fusion in merely four sampling steps. We observed that Latent Consistency Models employing consistency distillation can effectively extract representative Consistency Features from noisy images. To blend the Consistency Features extracted from both content and style images, we introduce a Style Enhancement Attention Control technique that meticulously merges content and style features within the attention space of the target image. Moreover, we propose a feature merging strategy to amalgamate redundant features in Consistency Features, thereby reducing the computational load of attention control. Extensive experiments have validated the effectiveness of our proposed framework in enhancing stylization efficiency and fidelity. The code is available at https://github.com/liujin112/ZePo.