DreamMix : Découplage des attributs d'objet pour une éditabilité améliorée dans l'inpainting d'images personnalisées

DreamMix: Decoupling Object Attributes for Enhanced Editability in Customized Image Inpainting

November 26, 2024

Auteurs: Yicheng Yang, Pengxiang Li, Lu Zhang, Liqian Ma, Ping Hu, Siyu Du, Yunzhi Zhuge, Xu Jia, Huchuan Lu

cs.AI

Résumé

L'inpainting d'images piloté par le sujet est devenu une tâche populaire en édition d'images aux côtés des récentes avancées dans les modèles de diffusion. Les méthodes précédentes se concentrent principalement sur la préservation de l'identité mais peinent à maintenir la capacité d'édition des objets insérés. En réponse, cet article présente DreamMix, un modèle génératif basé sur la diffusion capable d'insérer des objets cibles dans des scènes données à des emplacements spécifiés par l'utilisateur tout en permettant simultanément des modifications arbitraires pilotées par du texte à leurs attributs. En particulier, nous exploitons des modèles d'inpainting fondamentaux avancés et introduisons un cadre d'inpainting local-global désentrelacé pour équilibrer une insertion précise d'objets locaux avec une cohérence visuelle globale efficace. De plus, nous proposons un Mécanisme de Découplage d'Attributs (ADM) et un module de Substitution d'Attributs Textuels (TAS) pour améliorer la diversité et la capacité discriminative de l'orientation des attributs basée sur du texte, respectivement. Des expériences approfondies démontrent que DreamMix équilibre efficacement la préservation de l'identité et la capacité d'édition des attributs à travers divers scénarios d'application, incluant l'insertion d'objets, l'édition d'attributs et l'inpainting d'objets de petite taille. Notre code est publiquement disponible sur https://github.com/mycfhs/DreamMix.

English

Subject-driven image inpainting has emerged as a popular task in image editing alongside recent advancements in diffusion models. Previous methods primarily focus on identity preservation but struggle to maintain the editability of inserted objects. In response, this paper introduces DreamMix, a diffusion-based generative model adept at inserting target objects into given scenes at user-specified locations while concurrently enabling arbitrary text-driven modifications to their attributes. In particular, we leverage advanced foundational inpainting models and introduce a disentangled local-global inpainting framework to balance precise local object insertion with effective global visual coherence. Additionally, we propose an Attribute Decoupling Mechanism (ADM) and a Textual Attribute Substitution (TAS) module to improve the diversity and discriminative capability of the text-based attribute guidance, respectively. Extensive experiments demonstrate that DreamMix effectively balances identity preservation and attribute editability across various application scenarios, including object insertion, attribute editing, and small object inpainting. Our code is publicly available at https://github.com/mycfhs/DreamMix.