Éléments d'image modifiables pour une synthèse contrôlable

Editable Image Elements for Controllable Synthesis

April 24, 2024

Auteurs: Jiteng Mu, Michaël Gharbi, Richard Zhang, Eli Shechtman, Nuno Vasconcelos, Xiaolong Wang, Taesung Park

cs.AI

Résumé

Les modèles de diffusion ont réalisé des avancées significatives dans les tâches de synthèse guidée par texte. Cependant, l'édition d'images fournies par l'utilisateur reste un défi, car l'espace d'entrée de bruit de haute dimension des modèles de diffusion ne se prête pas naturellement à l'inversion d'image ou à l'édition spatiale. Dans ce travail, nous proposons une représentation d'image qui facilite l'édition spatiale des images d'entrée à l'aide d'un modèle de diffusion. Concrètement, nous apprenons à encoder une entrée en "éléments d'image" capables de reconstruire fidèlement une image d'entrée. Ces éléments peuvent être intuitivement modifiés par un utilisateur et sont décodés par un modèle de diffusion en images réalistes. Nous démontrons l'efficacité de notre représentation sur diverses tâches d'édition d'images, telles que le redimensionnement d'objets, le réarrangement, le déplacement, la dé-occlusion, la suppression, la variation et la composition d'images. Page du projet : https://jitengmu.github.io/Editable_Image_Elements/

English

Diffusion models have made significant advances in text-guided synthesis tasks. However, editing user-provided images remains challenging, as the high dimensional noise input space of diffusion models is not naturally suited for image inversion or spatial editing. In this work, we propose an image representation that promotes spatial editing of input images using a diffusion model. Concretely, we learn to encode an input into "image elements" that can faithfully reconstruct an input image. These elements can be intuitively edited by a user, and are decoded by a diffusion model into realistic images. We show the effectiveness of our representation on various image editing tasks, such as object resizing, rearrangement, dragging, de-occlusion, removal, variation, and image composition. Project page: https://jitengmu.github.io/Editable_Image_Elements/