Diffree: Inpainting di Oggetti a Forma Libera Guidato da Testo con Modello di Diffusione

Diffree: Text-Guided Shape Free Object Inpainting with Diffusion Model

July 24, 2024

Autori: Lirui Zhao, Tianshuo Yang, Wenqi Shao, Yuxin Zhang, Yu Qiao, Ping Luo, Kaipeng Zhang, Rongrong Ji

cs.AI

Abstract

Questo articolo affronta un problema importante dell'aggiunta di oggetti a immagini utilizzando solo indicazioni testuali. La sfida risiede nel fatto che il nuovo oggetto deve essere integrato in modo fluido nell'immagine, mantenendo un contesto visivo coerente, come illuminazione, texture e posizione spaziale. Sebbene i metodi esistenti di inpainting guidato da testo possano aggiungere oggetti, spesso non riescono a preservare la coerenza dello sfondo o richiedono un intervento umano complesso per specificare bounding box o maschere disegnate dall'utente. Per superare questa sfida, introduciamo Diffree, un modello Text-to-Image (T2I) che facilita l'aggiunta di oggetti guidata da testo utilizzando solo il controllo testuale. A tal fine, abbiamo creato OABench, un dataset sintetico di alta qualità ottenuto rimuovendo oggetti con tecniche avanzate di inpainting. OABench comprende 74K tuple del mondo reale, ciascuna composta da un'immagine originale, un'immagine con l'oggetto rimosso, una maschera dell'oggetto e descrizioni testuali dell'oggetto. Addestrato su OABench utilizzando il modello Stable Diffusion con un modulo aggiuntivo di previsione delle maschere, Diffree predice in modo univoco la posizione del nuovo oggetto e realizza l'aggiunta di oggetti guidata solo da testo. Esperimenti estensivi dimostrano che Diffree eccelle nell'aggiungere nuovi oggetti con un alto tasso di successo, mantenendo la coerenza dello sfondo, l'appropriatezza spaziale e la rilevanza e qualità degli oggetti.

English

This paper addresses an important problem of object addition for images with only text guidance. It is challenging because the new object must be integrated seamlessly into the image with consistent visual context, such as lighting, texture, and spatial location. While existing text-guided image inpainting methods can add objects, they either fail to preserve the background consistency or involve cumbersome human intervention in specifying bounding boxes or user-scribbled masks. To tackle this challenge, we introduce Diffree, a Text-to-Image (T2I) model that facilitates text-guided object addition with only text control. To this end, we curate OABench, an exquisite synthetic dataset by removing objects with advanced image inpainting techniques. OABench comprises 74K real-world tuples of an original image, an inpainted image with the object removed, an object mask, and object descriptions. Trained on OABench using the Stable Diffusion model with an additional mask prediction module, Diffree uniquely predicts the position of the new object and achieves object addition with guidance from only text. Extensive experiments demonstrate that Diffree excels in adding new objects with a high success rate while maintaining background consistency, spatial appropriateness, and object relevance and quality.