Diffree: Tekstgestuurd Vormvrij Object Inpainting met Diffusiemodel

Samenvatting

Dit artikel behandelt een belangrijk probleem van het toevoegen van objecten aan afbeeldingen met alleen tekstuele begeleiding. Dit is uitdagend omdat het nieuwe object naadloos moet worden geïntegreerd in de afbeelding met een consistente visuele context, zoals belichting, textuur en ruimtelijke locatie. Hoewel bestaande tekstgeleide beeldinpaintingsmethoden objecten kunnen toevoegen, slagen ze er niet in om de achtergrondconsistentie te behouden of vereisen ze omslachtige menselijke interventie bij het specificeren van begrenzingsvakken of door gebruikers getekende maskers. Om deze uitdaging aan te pakken, introduceren we Diffree, een Text-to-Image (T2I) model dat tekstgeleide objecttoevoeging mogelijk maakt met alleen tekstuele controle. Hiertoe hebben we OABench samengesteld, een verfijnde synthetische dataset door objecten te verwijderen met geavanceerde beeldinpaintingtechnieken. OABench bestaat uit 74K real-world tuples van een originele afbeelding, een ingepainte afbeelding met het object verwijderd, een objectmasker en objectbeschrijvingen. Getraind op OABench met behulp van het Stable Diffusion-model met een extra maskervoorspellingsmodule, voorspelt Diffree uniek de positie van het nieuwe object en bereikt het objecttoevoeging met alleen tekstuele begeleiding. Uitgebreide experimenten tonen aan dat Diffree uitblinkt in het toevoegen van nieuwe objecten met een hoog slagingspercentage, terwijl het de achtergrondconsistentie, ruimtelijke geschiktheid en objectrelevantie en -kwaliteit behoudt.

English

This paper addresses an important problem of object addition for images with only text guidance. It is challenging because the new object must be integrated seamlessly into the image with consistent visual context, such as lighting, texture, and spatial location. While existing text-guided image inpainting methods can add objects, they either fail to preserve the background consistency or involve cumbersome human intervention in specifying bounding boxes or user-scribbled masks. To tackle this challenge, we introduce Diffree, a Text-to-Image (T2I) model that facilitates text-guided object addition with only text control. To this end, we curate OABench, an exquisite synthetic dataset by removing objects with advanced image inpainting techniques. OABench comprises 74K real-world tuples of an original image, an inpainted image with the object removed, an object mask, and object descriptions. Trained on OABench using the Stable Diffusion model with an additional mask prediction module, Diffree uniquely predicts the position of the new object and achieves object addition with guidance from only text. Extensive experiments demonstrate that Diffree excels in adding new objects with a high success rate while maintaining background consistency, spatial appropriateness, and object relevance and quality.

Diffree: Tekstgestuurd Vormvrij Object Inpainting met Diffusiemodel

Diffree: Text-Guided Shape Free Object Inpainting with Diffusion Model

Samenvatting

Support