DreamMix: Entkopplung von Objekteigenschaften zur Verbesserung der Bearbeitbarkeit bei der individuellen Bildinpainting.

DreamMix: Decoupling Object Attributes for Enhanced Editability in Customized Image Inpainting

November 26, 2024

Autoren: Yicheng Yang, Pengxiang Li, Lu Zhang, Liqian Ma, Ping Hu, Siyu Du, Yunzhi Zhuge, Xu Jia, Huchuan Lu

cs.AI

Zusammenfassung

Themengetriebenes Bildinpainting hat sich neben den jüngsten Fortschritten in Diffusionsmodellen als beliebte Aufgabe in der Bildbearbeitung etabliert. Frühere Methoden konzentrieren sich hauptsächlich auf die Identitätserhaltung, haben jedoch Schwierigkeiten, die Bearbeitbarkeit der eingefügten Objekte aufrechtzuerhalten. In dieser Arbeit wird daher DreamMix vorgestellt, ein auf Diffusion basierendes generatives Modell, das in der Lage ist, Zielobjekte an vom Benutzer festgelegten Positionen in gegebenen Szenen einzufügen und gleichzeitig beliebige textgesteuerte Änderungen an deren Attributen zu ermöglichen. Insbesondere nutzen wir fortschrittliche grundlegende Inpainting-Modelle und führen ein entwirrtes lokales-globales Inpainting-Framework ein, um eine präzise lokale Objekteinfügung mit einer effektiven globalen visuellen Kohärenz auszubalancieren. Darüber hinaus schlagen wir einen Attributentkopplungsmechanismus (ADM) und ein Textuelles Attributersetzungsmodul (TAS) vor, um die Vielfalt und diskriminative Fähigkeit der textbasierten Attributführung zu verbessern. Umfangreiche Experimente zeigen, dass DreamMix Identitätserhaltung und Attributbearbeitbarkeit effektiv in verschiedenen Anwendungsszenarien ausbalanciert, einschließlich Objekteinfügung, Attributbearbeitung und Inpainting kleiner Objekte. Unser Code ist öffentlich verfügbar unter https://github.com/mycfhs/DreamMix.

English

Subject-driven image inpainting has emerged as a popular task in image editing alongside recent advancements in diffusion models. Previous methods primarily focus on identity preservation but struggle to maintain the editability of inserted objects. In response, this paper introduces DreamMix, a diffusion-based generative model adept at inserting target objects into given scenes at user-specified locations while concurrently enabling arbitrary text-driven modifications to their attributes. In particular, we leverage advanced foundational inpainting models and introduce a disentangled local-global inpainting framework to balance precise local object insertion with effective global visual coherence. Additionally, we propose an Attribute Decoupling Mechanism (ADM) and a Textual Attribute Substitution (TAS) module to improve the diversity and discriminative capability of the text-based attribute guidance, respectively. Extensive experiments demonstrate that DreamMix effectively balances identity preservation and attribute editability across various application scenarios, including object insertion, attribute editing, and small object inpainting. Our code is publicly available at https://github.com/mycfhs/DreamMix.