TurboEdit: Sofortige textbasierte Bildbearbeitung

TurboEdit: Instant text-based image editing

August 14, 2024

Autoren: Zongze Wu, Nicholas Kolkin, Jonathan Brandt, Richard Zhang, Eli Shechtman

cs.AI

Zusammenfassung

Wir adressieren die Herausforderungen der präzisen Bildumkehr und der entwirrten Bildbearbeitung im Kontext von Diffusionsmodellen mit wenigen Schritten. Wir stellen eine iterative Umkehrtechnik auf Basis eines Encoders vor. Das Umkehrnetzwerk ist abhängig vom Eingangsbild und dem rekonstruierten Bild des vorherigen Schritts, was eine Korrektur der nächsten Rekonstruktion in Richtung des Eingangsbildes ermöglicht. Wir zeigen, dass entwirrte Steuerungen im Diffusionsmodell mit wenigen Schritten leicht erreicht werden können, indem sie auf einen (automatisch generierten) detaillierten Texthinweis konditioniert sind. Um das umgekehrte Bild zu manipulieren, frieren wir die Rauschkarten ein und ändern ein Attribut im Texthinweis (entweder manuell oder über eine instruktionsbasierte Bearbeitung, gesteuert durch ein LLM), was zur Erzeugung eines neuen Bildes führt, das dem Eingangsbild ähnlich ist, jedoch nur ein Attribut geändert wurde. Es ermöglicht zudem die Steuerung der Bearbeitungsstärke und akzeptiert instruktive Texthinweise. Unser Ansatz erleichtert realistische textgesteuerte Bildbearbeitungen in Echtzeit und erfordert nur 8 Funktionsauswertungen (NFEs) bei der Umkehrung (Einmalkosten) und 4 NFEs pro Bearbeitung. Unsere Methode ist nicht nur schnell, sondern übertrifft auch signifikant die modernsten mehrstufigen Diffusionsbearbeitungstechniken.

English

We address the challenges of precise image inversion and disentangled image editing in the context of few-step diffusion models. We introduce an encoder based iterative inversion technique. The inversion network is conditioned on the input image and the reconstructed image from the previous step, allowing for correction of the next reconstruction towards the input image. We demonstrate that disentangled controls can be easily achieved in the few-step diffusion model by conditioning on an (automatically generated) detailed text prompt. To manipulate the inverted image, we freeze the noise maps and modify one attribute in the text prompt (either manually or via instruction based editing driven by an LLM), resulting in the generation of a new image similar to the input image with only one attribute changed. It can further control the editing strength and accept instructive text prompt. Our approach facilitates realistic text-guided image edits in real-time, requiring only 8 number of functional evaluations (NFEs) in inversion (one-time cost) and 4 NFEs per edit. Our method is not only fast, but also significantly outperforms state-of-the-art multi-step diffusion editing techniques.