Diffree: Formfreies Objekt-Inpainting mit Textführung unter Verwendung eines Diffusionsmodells

Diffree: Text-Guided Shape Free Object Inpainting with Diffusion Model

July 24, 2024

Autoren: Lirui Zhao, Tianshuo Yang, Wenqi Shao, Yuxin Zhang, Yu Qiao, Ping Luo, Kaipeng Zhang, Rongrong Ji

cs.AI

Zusammenfassung

Dieses Paper behandelt ein wichtiges Problem der Objektzusatz für Bilder nur mit Textanleitung. Dies ist herausfordernd, da das neue Objekt nahtlos in das Bild mit konsistentem visuellen Kontext integriert werden muss, wie Beleuchtung, Textur und räumliche Lage. Während bestehende textgesteuerte Bildinpainting-Methoden Objekte hinzufügen können, scheitern sie entweder daran, die Hintergrundkonsistenz zu bewahren oder erfordern umständliche menschliche Eingriffe zur Spezifizierung von Bounding-Boxen oder Benutzer-Scribble-Masken. Um diese Herausforderung anzugehen, stellen wir Diffree vor, ein Text-zu-Bild (T2I)-Modell, das die textgesteuerte Objektzusatz mit nur textueller Steuerung erleichtert. Zu diesem Zweck kuratieren wir OABench, einen exquisiten synthetischen Datensatz, indem wir Objekte mit fortschrittlichen Bildinpainting-Techniken entfernen. OABench umfasst 74K realweltliche Tupel eines Originalbildes, eines mit entferntem Objekt ininpainted Bildes, einer Objektmaske und Objektbeschreibungen. Trainiert auf OABench mit dem Stable Diffusion-Modell und einem zusätzlichen Maskenprädiktionsmodul, sagt Diffree einzigartig die Position des neuen Objekts voraus und erreicht Objektzusatz mit nur textueller Anleitung. Umfangreiche Experimente zeigen, dass Diffree sich darin auszeichnet, neue Objekte mit hoher Erfolgsrate hinzuzufügen, während Hintergrundkonsistenz, räumliche Angemessenheit sowie Objektbezug und -qualität erhalten bleiben.

English

This paper addresses an important problem of object addition for images with only text guidance. It is challenging because the new object must be integrated seamlessly into the image with consistent visual context, such as lighting, texture, and spatial location. While existing text-guided image inpainting methods can add objects, they either fail to preserve the background consistency or involve cumbersome human intervention in specifying bounding boxes or user-scribbled masks. To tackle this challenge, we introduce Diffree, a Text-to-Image (T2I) model that facilitates text-guided object addition with only text control. To this end, we curate OABench, an exquisite synthetic dataset by removing objects with advanced image inpainting techniques. OABench comprises 74K real-world tuples of an original image, an inpainted image with the object removed, an object mask, and object descriptions. Trained on OABench using the Stable Diffusion model with an additional mask prediction module, Diffree uniquely predicts the position of the new object and achieves object addition with guidance from only text. Extensive experiments demonstrate that Diffree excels in adding new objects with a high success rate while maintaining background consistency, spatial appropriateness, and object relevance and quality.