Diffree : Inpainting d'objets à forme libre guidé par texte avec un modèle de diffusion

Diffree: Text-Guided Shape Free Object Inpainting with Diffusion Model

July 24, 2024

Auteurs: Lirui Zhao, Tianshuo Yang, Wenqi Shao, Yuxin Zhang, Yu Qiao, Ping Luo, Kaipeng Zhang, Rongrong Ji

cs.AI

Résumé

Cet article aborde un problème important d'ajout d'objets dans des images avec uniquement un guidage textuel. Cette tâche est complexe car le nouvel objet doit être intégré de manière fluide dans l'image avec un contexte visuel cohérent, tel que l'éclairage, la texture et l'emplacement spatial. Bien que les méthodes existantes de réparation d'images guidées par texte puissent ajouter des objets, elles échouent soit à préserver la cohérence de l'arrière-plan, soit nécessitent une intervention humaine fastidieuse pour spécifier des boîtes englobantes ou des masques dessinés par l'utilisateur. Pour relever ce défi, nous présentons Diffree, un modèle de Texte à Image (T2I) qui facilite l'ajout d'objets guidé par texte avec uniquement un contrôle textuel. À cette fin, nous avons constitué OABench, un ensemble de données synthétiques raffiné en supprimant des objets à l'aide de techniques avancées de réparation d'images. OABench comprend 74K tuples du monde réel composés d'une image originale, d'une image réparée avec l'objet supprimé, d'un masque d'objet et de descriptions d'objets. Entraîné sur OABench en utilisant le modèle Stable Diffusion avec un module supplémentaire de prédiction de masque, Diffree prédit de manière unique la position du nouvel objet et réalise l'ajout d'objets avec uniquement un guidage textuel. Des expériences approfondies démontrent que Diffree excelle dans l'ajout de nouveaux objets avec un taux de réussite élevé tout en maintenant la cohérence de l'arrière-plan, l'adéquation spatiale, ainsi que la pertinence et la qualité des objets.

English

This paper addresses an important problem of object addition for images with only text guidance. It is challenging because the new object must be integrated seamlessly into the image with consistent visual context, such as lighting, texture, and spatial location. While existing text-guided image inpainting methods can add objects, they either fail to preserve the background consistency or involve cumbersome human intervention in specifying bounding boxes or user-scribbled masks. To tackle this challenge, we introduce Diffree, a Text-to-Image (T2I) model that facilitates text-guided object addition with only text control. To this end, we curate OABench, an exquisite synthetic dataset by removing objects with advanced image inpainting techniques. OABench comprises 74K real-world tuples of an original image, an inpainted image with the object removed, an object mask, and object descriptions. Trained on OABench using the Stable Diffusion model with an additional mask prediction module, Diffree uniquely predicts the position of the new object and achieves object addition with guidance from only text. Extensive experiments demonstrate that Diffree excels in adding new objects with a high success rate while maintaining background consistency, spatial appropriateness, and object relevance and quality.