DreamMix: Разделение атрибутов объекта для улучшенной редактируемости в индивидуализированной заполнении изображений.

DreamMix: Decoupling Object Attributes for Enhanced Editability in Customized Image Inpainting

November 26, 2024

Авторы: Yicheng Yang, Pengxiang Li, Lu Zhang, Liqian Ma, Ping Hu, Siyu Du, Yunzhi Zhuge, Xu Jia, Huchuan Lu

cs.AI

Аннотация

Инпейнтинг изображений, управляемый субъектом, стал популярной задачей в редактировании изображений наряду с недавними достижениями в моделях диффузии. Предыдущие методы в основном сосредотачивались на сохранении идентичности, но испытывали трудности с сохранением возможности редактирования вставленных объектов. В данной работе представлен DreamMix, модель генерации на основе диффузии, способная вставлять целевые объекты в заданные сцены в указанных пользователем местах, обеспечивая одновременно произвольные текстовые модификации их атрибутов. В частности, мы используем передовые базовые модели инпейнтинга и представляем дизентанглированную локально-глобальную структуру инпейнтинга для балансировки точной локальной вставки объектов с эффективной глобальной визуальной согласованностью. Кроме того, мы предлагаем Механизм декомпозиции атрибутов (ADM) и модуль Текстовой замены атрибутов (TAS) для улучшения разнообразия и дискриминационной способности текстового руководства атрибутами. Обширные эксперименты показывают, что DreamMix эффективно балансирует сохранение идентичности и возможность редактирования атрибутов в различных сценариях применения, включая вставку объектов, редактирование атрибутов и инпейнтинг малых объектов. Наш код общедоступен по адресу https://github.com/mycfhs/DreamMix.

English

Subject-driven image inpainting has emerged as a popular task in image editing alongside recent advancements in diffusion models. Previous methods primarily focus on identity preservation but struggle to maintain the editability of inserted objects. In response, this paper introduces DreamMix, a diffusion-based generative model adept at inserting target objects into given scenes at user-specified locations while concurrently enabling arbitrary text-driven modifications to their attributes. In particular, we leverage advanced foundational inpainting models and introduce a disentangled local-global inpainting framework to balance precise local object insertion with effective global visual coherence. Additionally, we propose an Attribute Decoupling Mechanism (ADM) and a Textual Attribute Substitution (TAS) module to improve the diversity and discriminative capability of the text-based attribute guidance, respectively. Extensive experiments demonstrate that DreamMix effectively balances identity preservation and attribute editability across various application scenarios, including object insertion, attribute editing, and small object inpainting. Our code is publicly available at https://github.com/mycfhs/DreamMix.