Objectinvoeging met bewustzijn van affordanties via masker-bewuste dubbele diffusie.

Affordance-Aware Object Insertion via Mask-Aware Dual Diffusion

December 19, 2024

Auteurs: Jixuan He, Wanhua Li, Ye Liu, Junsik Kim, Donglai Wei, Hanspeter Pfister

cs.AI

Samenvatting

Als een veelvoorkomende beeldbewerking, omvat beeldcompositie het integreren van voorgrondobjecten in achtergrondscènes. In dit artikel breiden we de toepassing van het concept van Affordance uit van op de mens gerichte beeldcompositietaken naar een meer algemeen kader voor object-scène compositie, waarbij de complexe wisselwerking tussen voorgrondobjecten en achtergrondscènes wordt aangepakt. Volgens het principe van Affordance definiëren we de taak van affordance-bewuste objectinvoeging, die tot doel heeft om naadloos elk object in elke scène in te voegen met verschillende positioneringsaanwijzingen. Om het beperkte gegevensprobleem aan te pakken en deze taak op te nemen, hebben we de SAM-FB dataset geconstrueerd, die meer dan 3 miljoen voorbeelden bevat over meer dan 3.000 objectcategorieën. Bovendien stellen we het Masker-Bewuste Dubbele Diffusie (MADD) model voor, dat een dubbele stroomarchitectuur gebruikt om tegelijkertijd het RGB-beeld en het invoegmasker te denoiseren. Door het invoegmasker expliciet te modelleren in het diffusieproces, vergemakkelijkt MADD effectief het concept van affordance. Uitgebreide experimentele resultaten tonen aan dat onze methode beter presteert dan de state-of-the-art methoden en sterke generalisatieprestaties vertoont op in-the-wild beelden. Raadpleeg onze code op https://github.com/KaKituken/affordance-aware-any.

English

As a common image editing operation, image composition involves integrating foreground objects into background scenes. In this paper, we expand the application of the concept of Affordance from human-centered image composition tasks to a more general object-scene composition framework, addressing the complex interplay between foreground objects and background scenes. Following the principle of Affordance, we define the affordance-aware object insertion task, which aims to seamlessly insert any object into any scene with various position prompts. To address the limited data issue and incorporate this task, we constructed the SAM-FB dataset, which contains over 3 million examples across more than 3,000 object categories. Furthermore, we propose the Mask-Aware Dual Diffusion (MADD) model, which utilizes a dual-stream architecture to simultaneously denoise the RGB image and the insertion mask. By explicitly modeling the insertion mask in the diffusion process, MADD effectively facilitates the notion of affordance. Extensive experimental results show that our method outperforms the state-of-the-art methods and exhibits strong generalization performance on in-the-wild images. Please refer to our code on https://github.com/KaKituken/affordance-aware-any.