Invertible Konsistenz-Destillation für textgesteuerte Bildbearbeitung in etwa 7 Schritten

Invertible Consistency Distillation for Text-Guided Image Editing in Around 7 Steps

June 20, 2024

Autoren: Nikita Starodubcev, Mikhail Khoroshikh, Artem Babenko, Dmitry Baranchuk

cs.AI

Zusammenfassung

Die Diffusionsdestillation stellt eine äußerst vielversprechende Richtung dar, um eine präzise Text-zu-Bild-Generierung in wenigen Abtastschritten zu erreichen. Trotz jüngster Erfolge bieten bestehende destillierte Modelle immer noch nicht das volle Spektrum der Diffusionsfähigkeiten, wie z.B. die echte Bildumkehr, die viele präzise Bildmanipulationsmethoden ermöglicht. Diese Arbeit zielt darauf ab, destillierte Text-zu-Bild-Diffusionsmodelle mit der Fähigkeit anzureichern, echte Bilder effektiv in ihren latenten Raum zu kodieren. Zu diesem Zweck stellen wir Invertible Consistency Distillation (iCD) vor, ein generalisiertes Konsistenzdestillationsframework, das sowohl die hochwertige Bildsynthese als auch die genaue Bildkodierung in nur 3-4 Inferenzschritten erleichtert. Obwohl das Umkehrproblem für Text-zu-Bild-Diffusionsmodelle durch hohe klassifikatorfreie Führungsskalen verschärft wird, stellen wir fest, dass dynamische Führung die Rekonstruktionsfehler signifikant reduziert, ohne eine spürbare Verschlechterung der Generierungsleistung zu verursachen. Infolgedessen zeigen wir, dass iCD mit dynamischer Führung als äußerst effektives Werkzeug für textgesteuerte Bildbearbeitung ohne Trainingsdaten dienen kann und mit teureren State-of-the-Art-Alternativen konkurrieren kann.

English

Diffusion distillation represents a highly promising direction for achieving faithful text-to-image generation in a few sampling steps. However, despite recent successes, existing distilled models still do not provide the full spectrum of diffusion abilities, such as real image inversion, which enables many precise image manipulation methods. This work aims to enrich distilled text-to-image diffusion models with the ability to effectively encode real images into their latent space. To this end, we introduce invertible Consistency Distillation (iCD), a generalized consistency distillation framework that facilitates both high-quality image synthesis and accurate image encoding in only 3-4 inference steps. Though the inversion problem for text-to-image diffusion models gets exacerbated by high classifier-free guidance scales, we notice that dynamic guidance significantly reduces reconstruction errors without noticeable degradation in generation performance. As a result, we demonstrate that iCD equipped with dynamic guidance may serve as a highly effective tool for zero-shot text-guided image editing, competing with more expensive state-of-the-art alternatives.