TurboEdit: Modifica istantanea di immagini basata su testo

TurboEdit: Instant text-based image editing

August 14, 2024

Autori: Zongze Wu, Nicholas Kolkin, Jonathan Brandt, Richard Zhang, Eli Shechtman

cs.AI

Abstract

Affrontiamo le sfide dell'inversione precisa delle immagini e della modifica scomposta delle immagini nel contesto di modelli di diffusione a pochi passi. Introduciamo una tecnica di inversione iterativa basata su un encoder. La rete di inversione è condizionata sull'immagine di input e sull'immagine ricostruita dal passaggio precedente, consentendo la correzione della prossima ricostruzione verso l'immagine di input. Dimostriamo che i controlli scomposti possono essere facilmente ottenuti nel modello di diffusione a pochi passi condizionando su un prompt testuale dettagliato (generato automaticamente). Per manipolare l'immagine invertita, congeliamo le mappe di rumore e modifichiamo un attributo nel prompt testuale (manualmente o tramite modifica basata su istruzioni guidata da un LLM), generando una nuova immagine simile a quella di input con un solo attributo modificato. È possibile inoltre controllare l'intensità della modifica e accettare prompt testuali istruttivi. Il nostro approccio facilita modifiche realistiche delle immagini guidate dal testo in tempo reale, richiedendo solo 8 valutazioni funzionali (NFEs) per l'inversione (costo una tantum) e 4 NFEs per modifica. Il nostro metodo non è solo veloce, ma supera significativamente le tecniche di modifica a più passi all'avanguardia.

English

We address the challenges of precise image inversion and disentangled image editing in the context of few-step diffusion models. We introduce an encoder based iterative inversion technique. The inversion network is conditioned on the input image and the reconstructed image from the previous step, allowing for correction of the next reconstruction towards the input image. We demonstrate that disentangled controls can be easily achieved in the few-step diffusion model by conditioning on an (automatically generated) detailed text prompt. To manipulate the inverted image, we freeze the noise maps and modify one attribute in the text prompt (either manually or via instruction based editing driven by an LLM), resulting in the generation of a new image similar to the input image with only one attribute changed. It can further control the editing strength and accept instructive text prompt. Our approach facilitates realistic text-guided image edits in real-time, requiring only 8 number of functional evaluations (NFEs) in inversion (one-time cost) and 4 NFEs per edit. Our method is not only fast, but also significantly outperforms state-of-the-art multi-step diffusion editing techniques.