TurboEdit: Directe tekstgebaseerde beeldbewerking
TurboEdit: Instant text-based image editing
August 14, 2024
Auteurs: Zongze Wu, Nicholas Kolkin, Jonathan Brandt, Richard Zhang, Eli Shechtman
cs.AI
Samenvatting
We gaan in op de uitdagingen van precieze beeldinversie en ontwarde beeldbewerking in de context van few-step diffusiemodellen. We introduceren een op een encoder gebaseerde iteratieve inversietechniek. Het inversienetwerk wordt geconditioneerd op de invoerafbeelding en de gereconstrueerde afbeelding van de vorige stap, waardoor correctie van de volgende reconstructie richting de invoerafbeelding mogelijk wordt. We tonen aan dat ontwarde besturingen eenvoudig kunnen worden bereikt in het few-step diffusiemodel door te conditioneren op een (automatisch gegenereerde) gedetailleerde tekstprompt. Om de geïnverteerde afbeelding te manipuleren, bevriezen we de ruiskaarten en wijzigen we één attribuut in de tekstprompt (handmatig of via instructiegebaseerde bewerking aangestuurd door een LLM), wat resulteert in de generatie van een nieuwe afbeelding die vergelijkbaar is met de invoerafbeelding, maar met slechts één gewijzigd attribuut. Het kan verder de bewerkingssterkte beheersen en instructieve tekstprompts accepteren. Onze aanpak maakt realistische tekstgeleide beeldbewerkingen in realtime mogelijk, waarbij slechts 8 functionele evaluaties (NFEs) nodig zijn voor inversie (eenmalige kosten) en 4 NFEs per bewerking. Onze methode is niet alleen snel, maar overtreft ook aanzienlijk de state-of-the-art multi-step diffusiebewerkingstechnieken.
English
We address the challenges of precise image inversion and disentangled image
editing in the context of few-step diffusion models. We introduce an encoder
based iterative inversion technique. The inversion network is conditioned on
the input image and the reconstructed image from the previous step, allowing
for correction of the next reconstruction towards the input image. We
demonstrate that disentangled controls can be easily achieved in the few-step
diffusion model by conditioning on an (automatically generated) detailed text
prompt. To manipulate the inverted image, we freeze the noise maps and modify
one attribute in the text prompt (either manually or via instruction based
editing driven by an LLM), resulting in the generation of a new image similar
to the input image with only one attribute changed. It can further control the
editing strength and accept instructive text prompt. Our approach facilitates
realistic text-guided image edits in real-time, requiring only 8 number of
functional evaluations (NFEs) in inversion (one-time cost) and 4 NFEs per edit.
Our method is not only fast, but also significantly outperforms
state-of-the-art multi-step diffusion editing techniques.