DreamMix: Het loskoppelen van objectkenmerken voor verbeterde bewerkbaarheid bij aangepaste beeldinpainting.

DreamMix: Decoupling Object Attributes for Enhanced Editability in Customized Image Inpainting

November 26, 2024

Auteurs: Yicheng Yang, Pengxiang Li, Lu Zhang, Liqian Ma, Ping Hu, Siyu Du, Yunzhi Zhuge, Xu Jia, Huchuan Lu

cs.AI

Samenvatting

Onderwerpgestuurde beeldinpainting is een populair taak geworden in beeldbewerking naast recente ontwikkelingen in diffusiemodellen. Vorige methoden richten zich voornamelijk op identiteitsbehoud, maar hebben moeite om de bewerkbaarheid van ingevoegde objecten te behouden. Als reactie introduceert dit artikel DreamMix, een diffusie-gebaseerd generatief model dat bekwaam is in het invoegen van doelobjecten in gegeven scènes op door de gebruiker gespecificeerde locaties, terwijl het tegelijkertijd willekeurige tekstgestuurde aanpassingen aan hun eigenschappen mogelijk maakt. In het bijzonder maken we gebruik van geavanceerde fundamentele inpainting modellen en introduceren we een ontward lokaal-globaal inpainting kader om een evenwicht te vinden tussen nauwkeurige lokale objectinvoeging en effectieve globale visuele coherentie. Daarnaast stellen we een Attribuut Ontkoppelingsmechanisme (ADM) en een Tekstuele Attribuut Substitutie (TAS) module voor om de diversiteit en onderscheidende capaciteit van de op tekst gebaseerde attribuutbegeleiding respectievelijk te verbeteren. Uitgebreide experimenten tonen aan dat DreamMix effectief een balans vindt tussen identiteitsbehoud en bewerkbaarheid van attributen in verschillende toepassingsscenario's, waaronder objectinvoeging, attribuutbewerking en inpainting van kleine objecten. Onze code is openbaar beschikbaar op https://github.com/mycfhs/DreamMix.

English

Subject-driven image inpainting has emerged as a popular task in image editing alongside recent advancements in diffusion models. Previous methods primarily focus on identity preservation but struggle to maintain the editability of inserted objects. In response, this paper introduces DreamMix, a diffusion-based generative model adept at inserting target objects into given scenes at user-specified locations while concurrently enabling arbitrary text-driven modifications to their attributes. In particular, we leverage advanced foundational inpainting models and introduce a disentangled local-global inpainting framework to balance precise local object insertion with effective global visual coherence. Additionally, we propose an Attribute Decoupling Mechanism (ADM) and a Textual Attribute Substitution (TAS) module to improve the diversity and discriminative capability of the text-based attribute guidance, respectively. Extensive experiments demonstrate that DreamMix effectively balances identity preservation and attribute editability across various application scenarios, including object insertion, attribute editing, and small object inpainting. Our code is publicly available at https://github.com/mycfhs/DreamMix.