Дистилляция инвертируемой согласованности для редактирования изображений по тексту Примерно за 7 шагов

Invertible Consistency Distillation for Text-Guided Image Editing in Around 7 Steps

June 20, 2024

Авторы: Nikita Starodubcev, Mikhail Khoroshikh, Artem Babenko, Dmitry Baranchuk

cs.AI

Аннотация

Диффузионная дистилляция представляет собой очень многообещающее направление для достижения точной генерации текста в изображение за несколько шагов выборки. Однако, несмотря на недавние успехи, существующие дистиллированные модели до сих пор не обеспечивают полный спектр возможностей диффузии, таких как реальная инверсия изображения, которая позволяет использовать множество точных методов манипуляции изображениями. Цель данной работы заключается в обогащении дистиллированных моделей текст в изображение с помощью способности эффективно кодировать реальные изображения в их латентное пространство. Для этого мы представляем инвертируемую дистилляцию согласованности (iCD), обобщенную систему дистилляции согласованности, которая облегчает как синтез изображений высокого качества, так и точное кодирование изображений всего за 3-4 шага вывода. Хотя проблема инверсии для моделей текст в изображение с помощью диффузии усугубляется при больших масштабах руководства без классификатора, мы замечаем, что динамическое руководство значительно снижает ошибки реконструкции без заметного ухудшения в производительности генерации. В результате мы демонстрируем, что iCD, оснащенный динамическим руководством, может служить очень эффективным инструментом для редактирования изображений с помощью текста на основе нулевого обучения, конкурируя с более дорогостоящими передовыми альтернативами.

English

Diffusion distillation represents a highly promising direction for achieving faithful text-to-image generation in a few sampling steps. However, despite recent successes, existing distilled models still do not provide the full spectrum of diffusion abilities, such as real image inversion, which enables many precise image manipulation methods. This work aims to enrich distilled text-to-image diffusion models with the ability to effectively encode real images into their latent space. To this end, we introduce invertible Consistency Distillation (iCD), a generalized consistency distillation framework that facilitates both high-quality image synthesis and accurate image encoding in only 3-4 inference steps. Though the inversion problem for text-to-image diffusion models gets exacerbated by high classifier-free guidance scales, we notice that dynamic guidance significantly reduces reconstruction errors without noticeable degradation in generation performance. As a result, we demonstrate that iCD equipped with dynamic guidance may serve as a highly effective tool for zero-shot text-guided image editing, competing with more expensive state-of-the-art alternatives.