Distilação de Consistência Invertível para Edição de Imagens Guiada por Texto em Aproximadamente 7 Passos

Invertible Consistency Distillation for Text-Guided Image Editing in Around 7 Steps

June 20, 2024

Autores: Nikita Starodubcev, Mikhail Khoroshikh, Artem Babenko, Dmitry Baranchuk

cs.AI

Resumo

A destilação de difusão representa uma direção altamente promissora para alcançar geração fiel de texto para imagem em poucas etapas de amostragem. No entanto, apesar dos sucessos recentes, os modelos destilados existentes ainda não fornecem o espectro completo de habilidades de difusão, como a inversão de imagens reais, que possibilita muitos métodos precisos de manipulação de imagens. Este trabalho visa enriquecer modelos destilados de difusão de texto para imagem com a capacidade de codificar efetivamente imagens reais em seu espaço latente. Para isso, introduzimos a Destilação de Consistência Invertível (iCD), uma estrutura generalizada de destilação de consistência que facilita tanto a síntese de imagens de alta qualidade quanto a codificação precisa de imagens em apenas 3-4 etapas de inferência. Embora o problema de inversão para modelos de difusão de texto para imagem seja agravado por altas escalas de orientação sem classificador, observamos que a orientação dinâmica reduz significativamente os erros de reconstrução sem degradação perceptível no desempenho de geração. Como resultado, demonstramos que a iCD equipada com orientação dinâmica pode servir como uma ferramenta altamente eficaz para edição de imagens guiada por texto em zero-shot, competindo com alternativas mais caras e de última geração.

English

Diffusion distillation represents a highly promising direction for achieving faithful text-to-image generation in a few sampling steps. However, despite recent successes, existing distilled models still do not provide the full spectrum of diffusion abilities, such as real image inversion, which enables many precise image manipulation methods. This work aims to enrich distilled text-to-image diffusion models with the ability to effectively encode real images into their latent space. To this end, we introduce invertible Consistency Distillation (iCD), a generalized consistency distillation framework that facilitates both high-quality image synthesis and accurate image encoding in only 3-4 inference steps. Though the inversion problem for text-to-image diffusion models gets exacerbated by high classifier-free guidance scales, we notice that dynamic guidance significantly reduces reconstruction errors without noticeable degradation in generation performance. As a result, we demonstrate that iCD equipped with dynamic guidance may serve as a highly effective tool for zero-shot text-guided image editing, competing with more expensive state-of-the-art alternatives.