제어 가능한 합성을 위한 편집 가능한 이미지 요소

Editable Image Elements for Controllable Synthesis

April 24, 2024

저자: Jiteng Mu, Michaël Gharbi, Richard Zhang, Eli Shechtman, Nuno Vasconcelos, Xiaolong Wang, Taesung Park

cs.AI

초록

디퓨전 모델은 텍스트 기반 합성 작업에서 상당한 발전을 이루었습니다. 그러나 사용자가 제공한 이미지를 편집하는 것은 여전히 어려운 과제로 남아 있습니다. 이는 디퓨전 모델의 고차원 노이즈 입력 공간이 이미지 역변환이나 공간적 편집에 자연스럽게 적합하지 않기 때문입니다. 본 연구에서는 디퓨전 모델을 사용하여 입력 이미지의 공간적 편집을 촉진하는 이미지 표현 방식을 제안합니다. 구체적으로, 우리는 입력 이미지를 충실하게 재구성할 수 있는 "이미지 요소"로 인코딩하는 방법을 학습합니다. 이러한 요소는 사용자가 직관적으로 편집할 수 있으며, 디퓨전 모델에 의해 현실적인 이미지로 디코딩됩니다. 우리는 객체 크기 조정, 재배치, 드래그, 가림 제거, 제거, 변형 및 이미지 합성과 같은 다양한 이미지 편집 작업에서 우리의 표현 방식의 효과를 보여줍니다. 프로젝트 페이지: https://jitengmu.github.io/Editable_Image_Elements/

English

Diffusion models have made significant advances in text-guided synthesis tasks. However, editing user-provided images remains challenging, as the high dimensional noise input space of diffusion models is not naturally suited for image inversion or spatial editing. In this work, we propose an image representation that promotes spatial editing of input images using a diffusion model. Concretely, we learn to encode an input into "image elements" that can faithfully reconstruct an input image. These elements can be intuitively edited by a user, and are decoded by a diffusion model into realistic images. We show the effectiveness of our representation on various image editing tasks, such as object resizing, rearrangement, dragging, de-occlusion, removal, variation, and image composition. Project page: https://jitengmu.github.io/Editable_Image_Elements/