Elementi Immagine Modificabili per Sintesi Controllabile
Editable Image Elements for Controllable Synthesis
April 24, 2024
Autori: Jiteng Mu, Michaël Gharbi, Richard Zhang, Eli Shechtman, Nuno Vasconcelos, Xiaolong Wang, Taesung Park
cs.AI
Abstract
I modelli di diffusione hanno compiuto progressi significativi nei compiti di sintesi guidata da testo. Tuttavia, la modifica di immagini fornite dall'utente rimane una sfida, poiché lo spazio di input ad alta dimensionalità del rumore nei modelli di diffusione non è naturalmente adatto per l'inversione di immagini o la modifica spaziale. In questo lavoro, proponiamo una rappresentazione delle immagini che favorisce la modifica spaziale delle immagini di input utilizzando un modello di diffusione. Nello specifico, apprendiamo a codificare un input in "elementi immagine" che possono ricostruire fedelmente un'immagine di input. Questi elementi possono essere modificati in modo intuitivo da un utente e vengono decodificati da un modello di diffusione in immagini realistiche. Dimostriamo l'efficacia della nostra rappresentazione in vari compiti di modifica delle immagini, come il ridimensionamento degli oggetti, il riarrangiamento, il trascinamento, la de-occlusione, la rimozione, la variazione e la composizione di immagini. Pagina del progetto: https://jitengmu.github.io/Editable_Image_Elements/
English
Diffusion models have made significant advances in text-guided synthesis
tasks. However, editing user-provided images remains challenging, as the high
dimensional noise input space of diffusion models is not naturally suited for
image inversion or spatial editing. In this work, we propose an image
representation that promotes spatial editing of input images using a diffusion
model. Concretely, we learn to encode an input into "image elements" that can
faithfully reconstruct an input image. These elements can be intuitively edited
by a user, and are decoded by a diffusion model into realistic images. We show
the effectiveness of our representation on various image editing tasks, such as
object resizing, rearrangement, dragging, de-occlusion, removal, variation, and
image composition. Project page:
https://jitengmu.github.io/Editable_Image_Elements/