Omkeerbare Consistentie Distillatie voor Tekstgeleide Afbeeldingsbewerking in Ongeveer 7 Stappen

Invertible Consistency Distillation for Text-Guided Image Editing in Around 7 Steps

June 20, 2024

Auteurs: Nikita Starodubcev, Mikhail Khoroshikh, Artem Babenko, Dmitry Baranchuk

cs.AI

Samenvatting

Diffusiedistillatie vertegenwoordigt een zeer veelbelovende richting voor het bereiken van getrouwe tekst-naar-beeldgeneratie in slechts enkele samplingstappen. Ondanks recente successen bieden bestaande gedistilleerde modellen echter nog steeds niet het volledige spectrum van diffusiecapaciteiten, zoals echte beeldinversie, wat veel precieze beeldmanipulatiemethoden mogelijk maakt. Dit werk heeft als doel om gedistilleerde tekst-naar-beeld diffusiemodellen te verrijken met de mogelijkheid om effectief echte afbeeldingen in hun latente ruimte te coderen. Hiertoe introduceren we omkeerbare Consistentie Distillatie (iCD), een gegeneraliseerd consistentiedistillatiekader dat zowel hoogwaardige beeldgeneratie als nauwkeurige beeldcodering mogelijk maakt in slechts 3-4 inferentiestappen. Hoewel het inversieprobleem voor tekst-naar-beeld diffusiemodellen wordt verergerd door hoge classifier-free guidance-schalen, merken we op dat dynamische guidance reconstructiefouten aanzienlijk vermindert zonder merkbare verslechtering in de generatieprestaties. Als resultaat tonen we aan dat iCD, uitgerust met dynamische guidance, kan dienen als een zeer effectief hulpmiddel voor zero-shot tekstgestuurde beeldbewerking, en kan concurreren met duurdere state-of-the-art alternatieven.

English

Diffusion distillation represents a highly promising direction for achieving faithful text-to-image generation in a few sampling steps. However, despite recent successes, existing distilled models still do not provide the full spectrum of diffusion abilities, such as real image inversion, which enables many precise image manipulation methods. This work aims to enrich distilled text-to-image diffusion models with the ability to effectively encode real images into their latent space. To this end, we introduce invertible Consistency Distillation (iCD), a generalized consistency distillation framework that facilitates both high-quality image synthesis and accurate image encoding in only 3-4 inference steps. Though the inversion problem for text-to-image diffusion models gets exacerbated by high classifier-free guidance scales, we notice that dynamic guidance significantly reduces reconstruction errors without noticeable degradation in generation performance. As a result, we demonstrate that iCD equipped with dynamic guidance may serve as a highly effective tool for zero-shot text-guided image editing, competing with more expensive state-of-the-art alternatives.