Peindre par Inpainting : Apprendre à ajouter des objets d'image en les supprimant d'abord

Paint by Inpaint: Learning to Add Image Objects by Removing Them First

April 28, 2024

Auteurs: Navve Wasserman, Noam Rotstein, Roy Ganz, Ron Kimmel

cs.AI

Résumé

L'édition d'images a considérablement progressé avec l'introduction des modèles de diffusion conditionnés par le texte. Malgré ces avancées, l'ajout fluide d'objets dans des images à partir d'instructions textuelles, sans nécessiter de masques fournis par l'utilisateur, reste un défi. Nous abordons ce problème en exploitant l'idée que la suppression d'objets (Inpaint) est nettement plus simple que son processus inverse d'ajout (Paint), en raison de l'utilisation de jeux de données de masques de segmentation associés à des modèles de réparation qui opèrent à l'intérieur de ces masques. En capitalisant sur cette réalisation, nous mettons en place un pipeline automatisé et étendu pour constituer un jeu de données d'images à grande échelle filtré, contenant des paires d'images et leurs versions avec objets supprimés. En utilisant ces paires, nous entraînons un modèle de diffusion à inverser le processus de réparation, ajoutant ainsi efficacement des objets dans les images. Contrairement à d'autres jeux de données d'édition, le nôtre présente des images cibles naturelles plutôt que synthétiques ; de plus, il maintient une cohérence entre les images source et cible par construction. Par ailleurs, nous utilisons un grand modèle vision-langage pour fournir des descriptions détaillées des objets supprimés et un grand modèle de langage pour convertir ces descriptions en instructions variées et naturelles. Nous démontrons que le modèle entraîné surpasse les modèles existants à la fois qualitativement et quantitativement, et nous mettons à disposition le jeu de données à grande échelle ainsi que les modèles entraînés pour la communauté.

English

Image editing has advanced significantly with the introduction of text-conditioned diffusion models. Despite this progress, seamlessly adding objects to images based on textual instructions without requiring user-provided input masks remains a challenge. We address this by leveraging the insight that removing objects (Inpaint) is significantly simpler than its inverse process of adding them (Paint), attributed to the utilization of segmentation mask datasets alongside inpainting models that inpaint within these masks. Capitalizing on this realization, by implementing an automated and extensive pipeline, we curate a filtered large-scale image dataset containing pairs of images and their corresponding object-removed versions. Using these pairs, we train a diffusion model to inverse the inpainting process, effectively adding objects into images. Unlike other editing datasets, ours features natural target images instead of synthetic ones; moreover, it maintains consistency between source and target by construction. Additionally, we utilize a large Vision-Language Model to provide detailed descriptions of the removed objects and a Large Language Model to convert these descriptions into diverse, natural-language instructions. We show that the trained model surpasses existing ones both qualitatively and quantitatively, and release the large-scale dataset alongside the trained models for the community.