Custom-Edit: Редактирование изображений на основе текста с использованием специализированных моделей диффузии

Custom-Edit: Text-Guided Image Editing with Customized Diffusion Models

May 25, 2023

Авторы: Jooyoung Choi, Yunjey Choi, Yunji Kim, Junho Kim, Sungroh Yoon

cs.AI

Аннотация

Модели диффузии для генерации изображений по тексту способны создавать разнообразные изображения высокой четкости на основе текстовых запросов, предоставленных пользователем. Недавние исследования расширили возможности этих моделей, добавив поддержку редактирования изображений с использованием текстовых указаний. Хотя текстовые указания представляют собой интуитивно понятный интерфейс для пользователей, они часто не обеспечивают точной передачи концепции, задуманной пользователем. Для решения этой проблемы мы предлагаем метод Custom-Edit, в котором мы (i) адаптируем модель диффузии с использованием нескольких эталонных изображений, а затем (ii) выполняем редактирование с текстовыми указаниями. Наше ключевое открытие заключается в том, что адаптация только языково-релевантных параметров с расширенными запросами значительно улучшает сходство с эталоном, сохраняя при этом сходство с исходным изображением. Кроме того, мы предоставляем наш подход для каждого этапа адаптации и редактирования. Мы сравниваем популярные методы адаптации и подтверждаем наши выводы на двух методах редактирования с использованием различных наборов данных.

English

Text-to-image diffusion models can generate diverse, high-fidelity images based on user-provided text prompts. Recent research has extended these models to support text-guided image editing. While text guidance is an intuitive editing interface for users, it often fails to ensure the precise concept conveyed by users. To address this issue, we propose Custom-Edit, in which we (i) customize a diffusion model with a few reference images and then (ii) perform text-guided editing. Our key discovery is that customizing only language-relevant parameters with augmented prompts improves reference similarity significantly while maintaining source similarity. Moreover, we provide our recipe for each customization and editing process. We compare popular customization methods and validate our findings on two editing methods using various datasets.