Elementos de Imagen Editables para Síntesis Controlable

Editable Image Elements for Controllable Synthesis

April 24, 2024

Autores: Jiteng Mu, Michaël Gharbi, Richard Zhang, Eli Shechtman, Nuno Vasconcelos, Xiaolong Wang, Taesung Park

cs.AI

Resumen

Los modelos de difusión han logrado avances significativos en tareas de síntesis guiada por texto. Sin embargo, la edición de imágenes proporcionadas por el usuario sigue siendo un desafío, ya que el espacio de entrada de ruido de alta dimensión de los modelos de difusión no es naturalmente adecuado para la inversión de imágenes o la edición espacial. En este trabajo, proponemos una representación de imágenes que fomenta la edición espacial de imágenes de entrada utilizando un modelo de difusión. Concretamente, aprendemos a codificar una entrada en "elementos de imagen" que pueden reconstruir fielmente una imagen de entrada. Estos elementos pueden ser editados intuitivamente por un usuario y son decodificados por un modelo de difusión en imágenes realistas. Mostramos la efectividad de nuestra representación en diversas tareas de edición de imágenes, como el cambio de tamaño de objetos, reordenamiento, arrastre, desoclusión, eliminación, variación y composición de imágenes. Página del proyecto: https://jitengmu.github.io/Editable_Image_Elements/

English

Diffusion models have made significant advances in text-guided synthesis tasks. However, editing user-provided images remains challenging, as the high dimensional noise input space of diffusion models is not naturally suited for image inversion or spatial editing. In this work, we propose an image representation that promotes spatial editing of input images using a diffusion model. Concretely, we learn to encode an input into "image elements" that can faithfully reconstruct an input image. These elements can be intuitively edited by a user, and are decoded by a diffusion model into realistic images. We show the effectiveness of our representation on various image editing tasks, such as object resizing, rearrangement, dragging, de-occlusion, removal, variation, and image composition. Project page: https://jitengmu.github.io/Editable_Image_Elements/