TurboEdit: Edición instantánea de imágenes basada en texto
TurboEdit: Instant text-based image editing
August 14, 2024
Autores: Zongze Wu, Nicholas Kolkin, Jonathan Brandt, Richard Zhang, Eli Shechtman
cs.AI
Resumen
Abordamos los desafíos de la inversión precisa de imágenes y la edición desentrelazada de imágenes en el contexto de modelos de difusión de pocos pasos. Introducimos una técnica de inversión iterativa basada en un codificador. La red de inversión se condiciona a la imagen de entrada y a la imagen reconstruida del paso anterior, lo que permite corregir la próxima reconstrucción hacia la imagen de entrada. Demostramos que los controles desentrelazados pueden lograrse fácilmente en el modelo de difusión de pocos pasos condicionando a una descripción detallada de texto (generada automáticamente). Para manipular la imagen invertida, congelamos los mapas de ruido y modificamos un atributo en la descripción de texto (ya sea manualmente o mediante edición basada en instrucciones impulsada por un LLM), lo que resulta en la generación de una nueva imagen similar a la imagen de entrada con solo un atributo cambiado. Además, se puede controlar la intensidad de la edición y aceptar descripciones de texto instructivas. Nuestro enfoque facilita ediciones de imágenes realistas guiadas por texto en tiempo real, requiriendo solo 8 evaluaciones funcionales (NFEs) en la inversión (costo único) y 4 NFEs por edición. Nuestro método no solo es rápido, sino que también supera significativamente las técnicas de edición de difusión de varios pasos más avanzadas.
English
We address the challenges of precise image inversion and disentangled image
editing in the context of few-step diffusion models. We introduce an encoder
based iterative inversion technique. The inversion network is conditioned on
the input image and the reconstructed image from the previous step, allowing
for correction of the next reconstruction towards the input image. We
demonstrate that disentangled controls can be easily achieved in the few-step
diffusion model by conditioning on an (automatically generated) detailed text
prompt. To manipulate the inverted image, we freeze the noise maps and modify
one attribute in the text prompt (either manually or via instruction based
editing driven by an LLM), resulting in the generation of a new image similar
to the input image with only one attribute changed. It can further control the
editing strength and accept instructive text prompt. Our approach facilitates
realistic text-guided image edits in real-time, requiring only 8 number of
functional evaluations (NFEs) in inversion (one-time cost) and 4 NFEs per edit.
Our method is not only fast, but also significantly outperforms
state-of-the-art multi-step diffusion editing techniques.