Custom-Edit: Edición de Imágenes Guiada por Texto con Modelos de Difusión Personalizados

Custom-Edit: Text-Guided Image Editing with Customized Diffusion Models

May 25, 2023

Autores: Jooyoung Choi, Yunjey Choi, Yunji Kim, Junho Kim, Sungroh Yoon

cs.AI

Resumen

Los modelos de difusión de texto a imagen pueden generar imágenes diversas y de alta fidelidad basadas en indicaciones de texto proporcionadas por el usuario. Investigaciones recientes han extendido estos modelos para permitir la edición de imágenes guiada por texto. Aunque la guía textual es una interfaz intuitiva para los usuarios, a menudo no logra garantizar el concepto preciso que estos desean transmitir. Para abordar este problema, proponemos Custom-Edit, en el cual (i) personalizamos un modelo de difusión con unas pocas imágenes de referencia y luego (ii) realizamos la edición guiada por texto. Nuestro descubrimiento clave es que personalizar únicamente los parámetros relevantes para el lenguaje con indicaciones aumentadas mejora significativamente la similitud con la referencia, manteniendo al mismo tiempo la similitud con la fuente. Además, proporcionamos nuestra receta para cada proceso de personalización y edición. Comparamos métodos de personalización populares y validamos nuestros hallazgos en dos métodos de edición utilizando diversos conjuntos de datos.

English

Text-to-image diffusion models can generate diverse, high-fidelity images based on user-provided text prompts. Recent research has extended these models to support text-guided image editing. While text guidance is an intuitive editing interface for users, it often fails to ensure the precise concept conveyed by users. To address this issue, we propose Custom-Edit, in which we (i) customize a diffusion model with a few reference images and then (ii) perform text-guided editing. Our key discovery is that customizing only language-relevant parameters with augmented prompts improves reference similarity significantly while maintaining source similarity. Moreover, we provide our recipe for each customization and editing process. We compare popular customization methods and validate our findings on two editing methods using various datasets.