Custom-Edit: Edição de Imagens Orientada por Texto com Modelos de Difusão Personalizados

Custom-Edit: Text-Guided Image Editing with Customized Diffusion Models

May 25, 2023

Autores: Jooyoung Choi, Yunjey Choi, Yunji Kim, Junho Kim, Sungroh Yoon

cs.AI

Resumo

Modelos de difusão de texto para imagem podem gerar imagens diversas e de alta fidelidade com base em prompts de texto fornecidos pelo usuário. Pesquisas recentes estenderam esses modelos para suportar edição de imagens guiada por texto. Embora a orientação por texto seja uma interface de edição intuitiva para os usuários, ela frequentemente falha em garantir o conceito preciso transmitido pelos usuários. Para resolver esse problema, propomos o Custom-Edit, no qual (i) personalizamos um modelo de difusão com algumas imagens de referência e, em seguida, (ii) realizamos a edição guiada por texto. Nossa principal descoberta é que personalizar apenas os parâmetros relevantes para a linguagem com prompts aumentados melhora significativamente a similaridade com a referência, mantendo a similaridade com a fonte. Além disso, fornecemos nossa receita para cada processo de personalização e edição. Comparamos métodos populares de personalização e validamos nossas descobertas em dois métodos de edição utilizando diversos conjuntos de dados.

English

Text-to-image diffusion models can generate diverse, high-fidelity images based on user-provided text prompts. Recent research has extended these models to support text-guided image editing. While text guidance is an intuitive editing interface for users, it often fails to ensure the precise concept conveyed by users. To address this issue, we propose Custom-Edit, in which we (i) customize a diffusion model with a few reference images and then (ii) perform text-guided editing. Our key discovery is that customizing only language-relevant parameters with augmented prompts improves reference similarity significantly while maintaining source similarity. Moreover, we provide our recipe for each customization and editing process. We compare popular customization methods and validate our findings on two editing methods using various datasets.