Редактируемые элементы изображения для управляемого синтеза

Editable Image Elements for Controllable Synthesis

April 24, 2024

Авторы: Jiteng Mu, Michaël Gharbi, Richard Zhang, Eli Shechtman, Nuno Vasconcelos, Xiaolong Wang, Taesung Park

cs.AI

Аннотация

Модели диффузии значительно продвинулись в задачах синтеза на основе текста. Однако редактирование предоставленных пользователем изображений остается сложной задачей, поскольку высокоразмерное пространство входного шума моделей диффузии не естественно подходит для инверсии изображения или пространственного редактирования. В данной работе мы предлагаем представление изображения, которое способствует пространственному редактированию входных изображений с использованием модели диффузии. Конкретно, мы учимся кодировать вход в "элементы изображения", которые могут точно восстанавливать входное изображение. Эти элементы могут быть интуитивно отредактированы пользователем и декодированы моделью диффузии в реалистичные изображения. Мы демонстрируем эффективность нашего представления на различных задачах редактирования изображений, таких как изменение размера объекта, перестановка, перетаскивание, устранение заслонок, удаление, вариация и композиция изображений. Страница проекта: https://jitengmu.github.io/Editable_Image_Elements/

English

Diffusion models have made significant advances in text-guided synthesis tasks. However, editing user-provided images remains challenging, as the high dimensional noise input space of diffusion models is not naturally suited for image inversion or spatial editing. In this work, we propose an image representation that promotes spatial editing of input images using a diffusion model. Concretely, we learn to encode an input into "image elements" that can faithfully reconstruct an input image. These elements can be intuitively edited by a user, and are decoded by a diffusion model into realistic images. We show the effectiveness of our representation on various image editing tasks, such as object resizing, rearrangement, dragging, de-occlusion, removal, variation, and image composition. Project page: https://jitengmu.github.io/Editable_Image_Elements/