Pintar por Inpaint: Aprendendo a Adicionar Objetos em Imagens Removendo-os Primeiro

Paint by Inpaint: Learning to Add Image Objects by Removing Them First

April 28, 2024

Autores: Navve Wasserman, Noam Rotstein, Roy Ganz, Ron Kimmel

cs.AI

Resumo

A edição de imagens avançou significativamente com a introdução de modelos de difusão condicionados por texto. Apesar desse progresso, adicionar objetos de forma contínua a imagens com base em instruções textuais, sem exigir máscaras fornecidas pelo usuário, continua sendo um desafio. Abordamos esse problema aproveitando a percepção de que remover objetos (Inpaint) é significativamente mais simples do que o processo inverso de adicioná-los (Paint), atribuído ao uso de conjuntos de dados de máscaras de segmentação juntamente com modelos de inpainting que preenchem essas máscaras. Capitalizando essa percepção, ao implementar um pipeline automatizado e extenso, criamos um conjunto de dados em larga escala e filtrado, contendo pares de imagens e suas versões correspondentes com objetos removidos. Usando esses pares, treinamos um modelo de difusão para inverter o processo de inpainting, efetivamente adicionando objetos às imagens. Diferente de outros conjuntos de dados de edição, o nosso apresenta imagens-alvo naturais em vez de sintéticas; além disso, mantém a consistência entre a origem e o alvo por construção. Adicionalmente, utilizamos um grande Modelo de Visão-Linguagem para fornecer descrições detalhadas dos objetos removidos e um Modelo de Linguagem de Grande Escala para converter essas descrições em instruções diversas e em linguagem natural. Demonstramos que o modelo treinado supera os existentes tanto qualitativa quanto quantitativamente, e disponibilizamos o conjunto de dados em larga escala juntamente com os modelos treinados para a comunidade.

English

Image editing has advanced significantly with the introduction of text-conditioned diffusion models. Despite this progress, seamlessly adding objects to images based on textual instructions without requiring user-provided input masks remains a challenge. We address this by leveraging the insight that removing objects (Inpaint) is significantly simpler than its inverse process of adding them (Paint), attributed to the utilization of segmentation mask datasets alongside inpainting models that inpaint within these masks. Capitalizing on this realization, by implementing an automated and extensive pipeline, we curate a filtered large-scale image dataset containing pairs of images and their corresponding object-removed versions. Using these pairs, we train a diffusion model to inverse the inpainting process, effectively adding objects into images. Unlike other editing datasets, ours features natural target images instead of synthetic ones; moreover, it maintains consistency between source and target by construction. Additionally, we utilize a large Vision-Language Model to provide detailed descriptions of the removed objects and a Large Language Model to convert these descriptions into diverse, natural-language instructions. We show that the trained model surpasses existing ones both qualitatively and quantitatively, and release the large-scale dataset alongside the trained models for the community.