Dipingere con Inpainting: Imparare ad Aggiungere Oggetti Immagine Rimuovendoli Prima

Paint by Inpaint: Learning to Add Image Objects by Removing Them First

April 28, 2024

Autori: Navve Wasserman, Noam Rotstein, Roy Ganz, Ron Kimmel

cs.AI

Abstract

L'editing delle immagini ha fatto progressi significativi con l'introduzione di modelli di diffusione condizionati dal testo. Nonostante questi avanzamenti, aggiungere oggetti alle immagini in modo fluido basandosi su istruzioni testuali, senza richiedere maschere fornite dall'utente, rimane una sfida. Affrontiamo questo problema sfruttando l'intuizione che rimuovere oggetti (Inpaint) è significativamente più semplice rispetto al processo inverso di aggiungerli (Paint), attribuibile all'utilizzo di dataset di maschere di segmentazione insieme a modelli di inpainting che operano all'interno di queste maschere. Capitalizzando questa realizzazione, implementando una pipeline automatizzata e estesa, curiamo un dataset di immagini su larga scala filtrato contenente coppie di immagini e le loro versioni con oggetti rimossi. Utilizzando queste coppie, addestriamo un modello di diffusione per invertire il processo di inpainting, aggiungendo efficacemente oggetti alle immagini. A differenza di altri dataset di editing, il nostro presenta immagini target naturali invece di quelle sintetiche; inoltre, mantiene la coerenza tra sorgente e target per costruzione. Inoltre, utilizziamo un grande modello Vision-Language per fornire descrizioni dettagliate degli oggetti rimossi e un Large Language Model per convertire queste descrizioni in istruzioni diversificate e in linguaggio naturale. Dimostriamo che il modello addestrato supera quelli esistenti sia qualitativamente che quantitativamente, e rilasciamo il dataset su larga scala insieme ai modelli addestrati per la comunità.

English

Image editing has advanced significantly with the introduction of text-conditioned diffusion models. Despite this progress, seamlessly adding objects to images based on textual instructions without requiring user-provided input masks remains a challenge. We address this by leveraging the insight that removing objects (Inpaint) is significantly simpler than its inverse process of adding them (Paint), attributed to the utilization of segmentation mask datasets alongside inpainting models that inpaint within these masks. Capitalizing on this realization, by implementing an automated and extensive pipeline, we curate a filtered large-scale image dataset containing pairs of images and their corresponding object-removed versions. Using these pairs, we train a diffusion model to inverse the inpainting process, effectively adding objects into images. Unlike other editing datasets, ours features natural target images instead of synthetic ones; moreover, it maintains consistency between source and target by construction. Additionally, we utilize a large Vision-Language Model to provide detailed descriptions of the removed objects and a Large Language Model to convert these descriptions into diverse, natural-language instructions. We show that the trained model surpasses existing ones both qualitatively and quantitatively, and release the large-scale dataset alongside the trained models for the community.