Objekteinsetzung unter Berücksichtigung von Affordanz durch maskenbasierte duale Diffusion

Affordance-Aware Object Insertion via Mask-Aware Dual Diffusion

December 19, 2024

Autoren: Jixuan He, Wanhua Li, Ye Liu, Junsik Kim, Donglai Wei, Hanspeter Pfister

cs.AI

Zusammenfassung

Als eine gängige Bildbearbeitungsoperation beinhaltet die Bildkomposition das Integrieren von Vordergrundobjekten in Hintergrundszenen. In diesem Paper erweitern wir die Anwendung des Konzepts der Affordanz von auf den Menschen ausgerichteten Aufgaben der Bildkomposition auf ein allgemeineres Rahmenwerk für die Objekt-Szenen-Komposition, das das komplexe Zusammenspiel zwischen Vordergrundobjekten und Hintergrundszene behandelt. Unter Berücksichtigung des Prinzips der Affordanz definieren wir die Aufgabe der affordanzbewussten Objekteinfügung, die darauf abzielt, jedes Objekt nahtlos in jede Szene mit verschiedenen Positionsvorgaben einzufügen. Um das Problem des begrenzten Datensatzes anzugehen und diese Aufgabe zu integrieren, haben wir den SAM-FB-Datensatz erstellt, der über 3 Millionen Beispiele aus mehr als 3.000 Objektkategorien enthält. Darüber hinaus schlagen wir das Maskenbewusste Dual-Diffusion (MADD)-Modell vor, das eine Dual-Stream-Architektur nutzt, um gleichzeitig das RGB-Bild und die Einfügemaske zu denoisieren. Durch die explizite Modellierung der Einfügemaske im Diffusionsprozess erleichtert MADD effektiv das Konzept der Affordanz. Umfangreiche experimentelle Ergebnisse zeigen, dass unsere Methode die Methoden auf dem neuesten Stand der Technik übertrifft und eine starke Verallgemeinerungsleistung auf Bildern in freier Wildbahn aufweist. Bitte beachten Sie unseren Code auf https://github.com/KaKituken/affordance-aware-any.

English

As a common image editing operation, image composition involves integrating foreground objects into background scenes. In this paper, we expand the application of the concept of Affordance from human-centered image composition tasks to a more general object-scene composition framework, addressing the complex interplay between foreground objects and background scenes. Following the principle of Affordance, we define the affordance-aware object insertion task, which aims to seamlessly insert any object into any scene with various position prompts. To address the limited data issue and incorporate this task, we constructed the SAM-FB dataset, which contains over 3 million examples across more than 3,000 object categories. Furthermore, we propose the Mask-Aware Dual Diffusion (MADD) model, which utilizes a dual-stream architecture to simultaneously denoise the RGB image and the insertion mask. By explicitly modeling the insertion mask in the diffusion process, MADD effectively facilitates the notion of affordance. Extensive experimental results show that our method outperforms the state-of-the-art methods and exhibits strong generalization performance on in-the-wild images. Please refer to our code on https://github.com/KaKituken/affordance-aware-any.