DreamMatcher: 意味的一貫性を保つテキストから画像へのパーソナライゼーションのための外観マッチング自己注意機構

DreamMatcher: Appearance Matching Self-Attention for Semantically-Consistent Text-to-Image Personalization

February 15, 2024

著者: Jisu Nam, Heesu Kim, DongJae Lee, Siyoon Jin, Seungryong Kim, Seunggyu Chang

cs.AI

要旨

テキストから画像へのパーソナライゼーション（T2I）の目的は、ユーザーが提供した参照概念に基づいて拡散モデルをカスタマイズし、ターゲットプロンプトに沿った多様な画像を生成することです。従来の手法では、参照概念を一意のテキスト埋め込みで表現することが多く、参照の外観を正確に模倣できないことがありました。この問題に対処するため、参照画像をターゲットのノイズ除去プロセスに明示的に条件付ける方法、すなわちキー・バリュー置換が考えられます。しかし、既存の研究は事前学習済みT2Iモデルの構造パスを乱すため、ローカル編集に限定されていました。これを克服するため、我々はT2Iパーソナライゼーションをセマンティックマッチングとして再定式化する新しいプラグイン手法、DreamMatcherを提案します。具体的には、DreamMatcherはセマンティックマッチングによって整列された参照値でターゲット値を置き換えつつ、構造パスを変更せずに維持することで、事前学習済みT2Iモデルの多様な構造生成能力を保持します。さらに、セマンティック整合性を保つマスキング戦略を導入し、ターゲットプロンプトによって導入される無関係な領域からパーソナライズされた概念を分離します。既存のT2Iモデルと互換性を持つDreamMatcherは、複雑なシナリオにおいて大幅な改善を示します。詳細な分析により、本手法の有効性が実証されています。

English

The objective of text-to-image (T2I) personalization is to customize a diffusion model to a user-provided reference concept, generating diverse images of the concept aligned with the target prompts. Conventional methods representing the reference concepts using unique text embeddings often fail to accurately mimic the appearance of the reference. To address this, one solution may be explicitly conditioning the reference images into the target denoising process, known as key-value replacement. However, prior works are constrained to local editing since they disrupt the structure path of the pre-trained T2I model. To overcome this, we propose a novel plug-in method, called DreamMatcher, which reformulates T2I personalization as semantic matching. Specifically, DreamMatcher replaces the target values with reference values aligned by semantic matching, while leaving the structure path unchanged to preserve the versatile capability of pre-trained T2I models for generating diverse structures. We also introduce a semantic-consistent masking strategy to isolate the personalized concept from irrelevant regions introduced by the target prompts. Compatible with existing T2I models, DreamMatcher shows significant improvements in complex scenarios. Intensive analyses demonstrate the effectiveness of our approach.