DreamMix：カスタマイズされた画像補完における編集可能性向上のためのオブジェクト属性の切り離し

DreamMix: Decoupling Object Attributes for Enhanced Editability in Customized Image Inpainting

November 26, 2024

著者: Yicheng Yang, Pengxiang Li, Lu Zhang, Liqian Ma, Ping Hu, Siyu Du, Yunzhi Zhuge, Xu Jia, Huchuan Lu

cs.AI

要旨

主体駆動型画像修復は、拡散モデルの最近の進歩と並んで画像編集における人気のあるタスクとして台頭しています。従来の手法は主に同一性の保存に焦点を当ててきましたが、挿入されたオブジェクトの編集可能性を維持するのに苦労しています。この論文では、与えられたシーンに対象のオブジェクトをユーザー指定の位置に挿入することに優れた拡散ベースの生成モデルであるDreamMixを紹介します。同時に、それらの属性に対する任意のテキスト駆動修正を可能にします。具体的には、高度な基礎となる修復モデルを活用し、正確な局所オブジェクトの挿入と効果的なグローバルな視覚的整合性をバランス良く保つために、分離された局所-グローバル修復フレームワークを導入します。さらに、属性の分離メカニズム（ADM）とテキスト属性の置換（TAS）モジュールを提案し、それぞれテキストベースの属性ガイダンスの多様性と識別能力を向上させます。幅広い実験により、DreamMixがオブジェクトの挿入、属性の編集、および小さなオブジェクトの修復を含むさまざまなアプリケーションシナリオにおいて、同一性の保存と属性の編集可能性を効果的にバランスさせることが示されます。当該コードはhttps://github.com/mycfhs/DreamMix で公開されています。

English

Subject-driven image inpainting has emerged as a popular task in image editing alongside recent advancements in diffusion models. Previous methods primarily focus on identity preservation but struggle to maintain the editability of inserted objects. In response, this paper introduces DreamMix, a diffusion-based generative model adept at inserting target objects into given scenes at user-specified locations while concurrently enabling arbitrary text-driven modifications to their attributes. In particular, we leverage advanced foundational inpainting models and introduce a disentangled local-global inpainting framework to balance precise local object insertion with effective global visual coherence. Additionally, we propose an Attribute Decoupling Mechanism (ADM) and a Textual Attribute Substitution (TAS) module to improve the diversity and discriminative capability of the text-based attribute guidance, respectively. Extensive experiments demonstrate that DreamMix effectively balances identity preservation and attribute editability across various application scenarios, including object insertion, attribute editing, and small object inpainting. Our code is publicly available at https://github.com/mycfhs/DreamMix.