Вставка объекта с учетом возможностей через двойное диффузное распространение с учетом маски.

Affordance-Aware Object Insertion via Mask-Aware Dual Diffusion

December 19, 2024

Авторы: Jixuan He, Wanhua Li, Ye Liu, Junsik Kim, Donglai Wei, Hanspeter Pfister

cs.AI

Аннотация

В качестве обычной операции по редактированию изображений, композиция изображения включает интеграцию передних объектов в фоновые сцены. В данной статье мы расширяем применение концепции Affordance из задач композиции изображений, ориентированных на человека, к более общей рамке композиции объект-сцена, рассматривая сложное взаимодействие между передними объектами и фоновыми сценами. Следуя принципу Affordance, мы определяем задачу вставки объекта с учетом affordance, которая направлена на бесшовную вставку любого объекта в любую сцену с различными подсказками по позиции. Для решения проблемы ограниченных данных и включения этой задачи мы создали набор данных SAM-FB, содержащий более 3 миллионов примеров по более чем 3 000 категориям объектов. Кроме того, мы предлагаем модель Mask-Aware Dual Diffusion (MADD), которая использует двухпоточную архитектуру для одновременного удаления шума из RGB-изображения и маски вставки. Эффективно учитывая маску вставки в процессе диффузии, MADD эффективно облегчает понятие affordance. Обширные экспериментальные результаты показывают, что наш метод превосходит современные методы и обладает сильной обобщающей способностью на изображениях "в дикой природе". Пожалуйста, обратитесь к нашему коду на https://github.com/KaKituken/affordance-aware-any.

English

As a common image editing operation, image composition involves integrating foreground objects into background scenes. In this paper, we expand the application of the concept of Affordance from human-centered image composition tasks to a more general object-scene composition framework, addressing the complex interplay between foreground objects and background scenes. Following the principle of Affordance, we define the affordance-aware object insertion task, which aims to seamlessly insert any object into any scene with various position prompts. To address the limited data issue and incorporate this task, we constructed the SAM-FB dataset, which contains over 3 million examples across more than 3,000 object categories. Furthermore, we propose the Mask-Aware Dual Diffusion (MADD) model, which utilizes a dual-stream architecture to simultaneously denoise the RGB image and the insertion mask. By explicitly modeling the insertion mask in the diffusion process, MADD effectively facilitates the notion of affordance. Extensive experimental results show that our method outperforms the state-of-the-art methods and exhibits strong generalization performance on in-the-wild images. Please refer to our code on https://github.com/KaKituken/affordance-aware-any.