Distribución de Consistencia Invertible para la Edición de Imágenes Guiada por Texto en Aproximadamente 7 Pasos

Invertible Consistency Distillation for Text-Guided Image Editing in Around 7 Steps

June 20, 2024

Autores: Nikita Starodubcev, Mikhail Khoroshikh, Artem Babenko, Dmitry Baranchuk

cs.AI

Resumen

La destilación de difusión representa una dirección altamente prometedora para lograr una generación fiel de imágenes a partir de texto en pocos pasos de muestreo. Sin embargo, a pesar de los recientes éxitos, los modelos destilados existentes aún no ofrecen todo el espectro de capacidades de difusión, como la inversión de imágenes reales, que permite muchos métodos precisos de manipulación de imágenes. Este trabajo tiene como objetivo enriquecer los modelos destilados de difusión de texto a imagen con la capacidad de codificar eficazmente imágenes reales en su espacio latente. Para ello, introducimos la Destilación de Consistencia Invertible (iCD), un marco generalizado de destilación de consistencia que facilita tanto la síntesis de imágenes de alta calidad como la codificación precisa de imágenes en solo 3-4 pasos de inferencia. Aunque el problema de inversión para los modelos de difusión de texto a imagen se ve agravado por las altas escalas de guía sin clasificador, observamos que la guía dinámica reduce significativamente los errores de reconstrucción sin una degradación notable en el rendimiento de generación. Como resultado, demostramos que iCD equipado con guía dinámica puede servir como una herramientia altamente efectiva para la edición de imágenes guiada por texto en modo zero-shot, compitiendo con alternativas más costosas del estado del arte.

English

Diffusion distillation represents a highly promising direction for achieving faithful text-to-image generation in a few sampling steps. However, despite recent successes, existing distilled models still do not provide the full spectrum of diffusion abilities, such as real image inversion, which enables many precise image manipulation methods. This work aims to enrich distilled text-to-image diffusion models with the ability to effectively encode real images into their latent space. To this end, we introduce invertible Consistency Distillation (iCD), a generalized consistency distillation framework that facilitates both high-quality image synthesis and accurate image encoding in only 3-4 inference steps. Though the inversion problem for text-to-image diffusion models gets exacerbated by high classifier-free guidance scales, we notice that dynamic guidance significantly reduces reconstruction errors without noticeable degradation in generation performance. As a result, we demonstrate that iCD equipped with dynamic guidance may serve as a highly effective tool for zero-shot text-guided image editing, competing with more expensive state-of-the-art alternatives.