DreamMix: Desacoplando Atributos de Objetos para Melhorar a Editabilidade em Preenchimento de Imagens Personalizado.

DreamMix: Decoupling Object Attributes for Enhanced Editability in Customized Image Inpainting

November 26, 2024

Autores: Yicheng Yang, Pengxiang Li, Lu Zhang, Liqian Ma, Ping Hu, Siyu Du, Yunzhi Zhuge, Xu Jia, Huchuan Lu

cs.AI

Resumo

A inpainting de imagens orientada por assuntos tem surgido como uma tarefa popular na edição de imagens juntamente com os avanços recentes em modelos de difusão. Métodos anteriores focam principalmente na preservação da identidade, mas têm dificuldade em manter a capacidade de edição dos objetos inseridos. Em resposta a isso, este artigo apresenta o DreamMix, um modelo generativo baseado em difusão capaz de inserir objetos-alvo em cenas fornecidas em locais especificados pelo usuário, ao mesmo tempo que permite modificações arbitrárias impulsionadas por texto em seus atributos. Em particular, aproveitamos modelos avançados de inpainting fundamentais e introduzimos um framework de inpainting local-global desembaraçado para equilibrar a inserção precisa de objetos locais com uma coerência visual global eficaz. Além disso, propomos um Mecanismo de Desacoplamento de Atributos (ADM) e um módulo de Substituição de Atributos Textuais (TAS) para melhorar a diversidade e a capacidade discriminativa da orientação de atributos baseada em texto, respectivamente. Experimentos extensivos demonstram que o DreamMix equilibra efetivamente a preservação da identidade e a capacidade de edição de atributos em vários cenários de aplicação, incluindo inserção de objetos, edição de atributos e inpainting de objetos pequenos. Nosso código está disponível publicamente em https://github.com/mycfhs/DreamMix.

English

Subject-driven image inpainting has emerged as a popular task in image editing alongside recent advancements in diffusion models. Previous methods primarily focus on identity preservation but struggle to maintain the editability of inserted objects. In response, this paper introduces DreamMix, a diffusion-based generative model adept at inserting target objects into given scenes at user-specified locations while concurrently enabling arbitrary text-driven modifications to their attributes. In particular, we leverage advanced foundational inpainting models and introduce a disentangled local-global inpainting framework to balance precise local object insertion with effective global visual coherence. Additionally, we propose an Attribute Decoupling Mechanism (ADM) and a Textual Attribute Substitution (TAS) module to improve the diversity and discriminative capability of the text-based attribute guidance, respectively. Extensive experiments demonstrate that DreamMix effectively balances identity preservation and attribute editability across various application scenarios, including object insertion, attribute editing, and small object inpainting. Our code is publicly available at https://github.com/mycfhs/DreamMix.