DreamMix：カスタマイズ画像修復における編集性向上のためのオブジェクト属性分離

要旨

拡散モデルの発展に伴い、対象駆動型画像インペインティングは画像編集分野で注目をタスクとして台頭してきました。従来手法は主に同一性の維持に焦点を当てていましたが、挿入対象の編集可能性の維持に課題を残していました。これに対し本論文では、DreamMixを提案します。これは拡散モデルベースの生成モデルであり、ユーザ指定位置に目標対象を所定のシーンに挿入すると同時に、それらの属性に対する任意のテキスト駆動の変更を可能にします。特に、我々は高度な基盤的インペインティングモデルを活用し、精密な局所的対象挿入と効果的で大域的な視覚的一貫性のバランスを取るための、分離型局所-大域インペインティングフレームワークを導入します。加えて、属性分離メカニズム（ADM）とテキスト属性置換（TAS）モジュールを提案し、それぞれテキストベースの属性ガイダンスの多様性と識別能力を向上させます。大規模な実験により、DreamMixが対象挿入、属性編集、小対象インペインティングを含む様々な応用シナリオにおいて、同一性維持と属性編集可能性のバランスを効果的に取ることが実証されています。コードはhttps://github.com/mycfhs/DreamMix で公開されています。

English

Subject-driven image inpainting has emerged as a popular task in image editing alongside recent advancements in diffusion models. Previous methods primarily focus on identity preservation but struggle to maintain the editability of inserted objects. In response, this paper introduces DreamMix, a diffusion-based generative model adept at inserting target objects into given scenes at user-specified locations while concurrently enabling arbitrary text-driven modifications to their attributes. In particular, we leverage advanced foundational inpainting models and introduce a disentangled local-global inpainting framework to balance precise local object insertion with effective global visual coherence. Additionally, we propose an Attribute Decoupling Mechanism (ADM) and a Textual Attribute Substitution (TAS) module to improve the diversity and discriminative capability of the text-based attribute guidance, respectively. Extensive experiments demonstrate that DreamMix effectively balances identity preservation and attribute editability across various application scenarios, including object insertion, attribute editing, and small object inpainting. Our code is publicly available at https://github.com/mycfhs/DreamMix.

DreamMix：カスタマイズ画像修復における編集性向上のためのオブジェクト属性分離

DreamMix: Decoupling Object Attributes for Enhanced Editability in Customized Image Inpainting

要旨

Support