Editierbare Bildelemente für kontrollierte Synthese
Editable Image Elements for Controllable Synthesis
April 24, 2024
Autoren: Jiteng Mu, Michaël Gharbi, Richard Zhang, Eli Shechtman, Nuno Vasconcelos, Xiaolong Wang, Taesung Park
cs.AI
Zusammenfassung
Diffusionsmodelle haben signifikante Fortschritte bei textgeführten Synthesen erzielt. Die Bearbeitung von benutzerbereitgestellten Bildern bleibt jedoch eine Herausforderung, da der hochdimensionale Rauscheingaberaum von Diffusionsmodellen nicht natürlicherweise für die Bildumkehr oder räumliche Bearbeitung geeignet ist. In dieser Arbeit schlagen wir eine Bildrepräsentation vor, die die räumliche Bearbeitung von Eingabebildern mithilfe eines Diffusionsmodells fördert. Konkret lernen wir, eine Eingabe in "Bildelemente" zu kodieren, die ein Eingabebild treu rekonstruieren können. Diese Elemente können intuitiv von einem Benutzer bearbeitet werden und werden von einem Diffusionsmodell in realistische Bilder decodiert. Wir zeigen die Wirksamkeit unserer Darstellung bei verschiedenen Bildbearbeitungsaufgaben wie Objektgrößenänderung, Neuordnung, Ziehen, Deokklusion, Entfernung, Variation und Bildkomposition. Projektseite: https://jitengmu.github.io/Editable_Image_Elements/
English
Diffusion models have made significant advances in text-guided synthesis
tasks. However, editing user-provided images remains challenging, as the high
dimensional noise input space of diffusion models is not naturally suited for
image inversion or spatial editing. In this work, we propose an image
representation that promotes spatial editing of input images using a diffusion
model. Concretely, we learn to encode an input into "image elements" that can
faithfully reconstruct an input image. These elements can be intuitively edited
by a user, and are decoded by a diffusion model into realistic images. We show
the effectiveness of our representation on various image editing tasks, such as
object resizing, rearrangement, dragging, de-occlusion, removal, variation, and
image composition. Project page:
https://jitengmu.github.io/Editable_Image_Elements/Summary
AI-Generated Summary