Inserción de objetos consciente de las affordances a través de la difusión dual consciente de las máscaras.

Affordance-Aware Object Insertion via Mask-Aware Dual Diffusion

December 19, 2024

Autores: Jixuan He, Wanhua Li, Ye Liu, Junsik Kim, Donglai Wei, Hanspeter Pfister

cs.AI

Resumen

Como una operación común de edición de imágenes, la composición de imágenes implica integrar objetos en primer plano en escenas de fondo. En este documento, ampliamos la aplicación del concepto de Asequibilidad de las tareas de composición de imágenes centradas en humanos a un marco de trabajo más general de composición de objetos-escena, abordando la compleja interacción entre objetos en primer plano y escenas de fondo. Siguiendo el principio de Asequibilidad, definimos la tarea de inserción de objetos consciente de la asequibilidad, que tiene como objetivo insertar de manera fluida cualquier objeto en cualquier escena con varios indicadores de posición. Para abordar el problema de datos limitados e incorporar esta tarea, construimos el conjunto de datos SAM-FB, que contiene más de 3 millones de ejemplos en más de 3,000 categorías de objetos. Además, proponemos el modelo de Difusión Dual Consciente de Máscara (MADD), que utiliza una arquitectura de doble flujo para denojar simultáneamente la imagen RGB y la máscara de inserción. Al modelar explícitamente la máscara de inserción en el proceso de difusión, MADD facilita efectivamente el concepto de asequibilidad. Los extensos resultados experimentales muestran que nuestro método supera a los métodos de vanguardia y exhibe un sólido rendimiento de generalización en imágenes en entornos naturales. Por favor, consulte nuestro código en https://github.com/KaKituken/affordance-aware-any.

English

As a common image editing operation, image composition involves integrating foreground objects into background scenes. In this paper, we expand the application of the concept of Affordance from human-centered image composition tasks to a more general object-scene composition framework, addressing the complex interplay between foreground objects and background scenes. Following the principle of Affordance, we define the affordance-aware object insertion task, which aims to seamlessly insert any object into any scene with various position prompts. To address the limited data issue and incorporate this task, we constructed the SAM-FB dataset, which contains over 3 million examples across more than 3,000 object categories. Furthermore, we propose the Mask-Aware Dual Diffusion (MADD) model, which utilizes a dual-stream architecture to simultaneously denoise the RGB image and the insertion mask. By explicitly modeling the insertion mask in the diffusion process, MADD effectively facilitates the notion of affordance. Extensive experimental results show that our method outperforms the state-of-the-art methods and exhibits strong generalization performance on in-the-wild images. Please refer to our code on https://github.com/KaKituken/affordance-aware-any.