DreamMix: Desacoplar Atributos de Objetos para Mejorar la Editabilidad en Reparación de Imágenes Personalizadas

DreamMix: Decoupling Object Attributes for Enhanced Editability in Customized Image Inpainting

November 26, 2024

Autores: Yicheng Yang, Pengxiang Li, Lu Zhang, Liqian Ma, Ping Hu, Siyu Du, Yunzhi Zhuge, Xu Jia, Huchuan Lu

cs.AI

Resumen

El relleno de imágenes impulsado por el sujeto ha surgido como una tarea popular en la edición de imágenes junto con los avances recientes en modelos de difusión. Los métodos previos se centran principalmente en la preservación de la identidad pero luchan por mantener la capacidad de edición de los objetos insertados. En respuesta, este artículo presenta DreamMix, un modelo generativo basado en difusión capaz de insertar objetos objetivo en escenas dadas en ubicaciones especificadas por el usuario, al mismo tiempo que permite modificaciones arbitrarias impulsadas por texto en sus atributos. En particular, aprovechamos modelos avanzados de relleno de imágenes fundamentales e introducimos un marco de relleno local-global desentrelazado para equilibrar la precisa inserción local de objetos con una coherencia visual global efectiva. Además, proponemos un Mecanismo de Desacoplamiento de Atributos (ADM) y un módulo de Sustitución de Atributos Textuales (TAS) para mejorar la diversidad y la capacidad discriminativa de la orientación de atributos basada en texto, respectivamente. Experimentos extensos demuestran que DreamMix equilibra eficazmente la preservación de la identidad y la capacidad de edición de atributos en diversos escenarios de aplicación, incluyendo la inserción de objetos, la edición de atributos y el relleno de pequeños objetos. Nuestro código está disponible públicamente en https://github.com/mycfhs/DreamMix.

English

Subject-driven image inpainting has emerged as a popular task in image editing alongside recent advancements in diffusion models. Previous methods primarily focus on identity preservation but struggle to maintain the editability of inserted objects. In response, this paper introduces DreamMix, a diffusion-based generative model adept at inserting target objects into given scenes at user-specified locations while concurrently enabling arbitrary text-driven modifications to their attributes. In particular, we leverage advanced foundational inpainting models and introduce a disentangled local-global inpainting framework to balance precise local object insertion with effective global visual coherence. Additionally, we propose an Attribute Decoupling Mechanism (ADM) and a Textual Attribute Substitution (TAS) module to improve the diversity and discriminative capability of the text-based attribute guidance, respectively. Extensive experiments demonstrate that DreamMix effectively balances identity preservation and attribute editability across various application scenarios, including object insertion, attribute editing, and small object inpainting. Our code is publicly available at https://github.com/mycfhs/DreamMix.