DreamMatcher : Appariement d'apparence par auto-attention pour une personnalisation texte-image sémantiquement cohérente

DreamMatcher: Appearance Matching Self-Attention for Semantically-Consistent Text-to-Image Personalization

February 15, 2024

Auteurs: Jisu Nam, Heesu Kim, DongJae Lee, Siyoon Jin, Seungryong Kim, Seunggyu Chang

cs.AI

Résumé

L'objectif de la personnalisation texte-image (T2I) est d'adapter un modèle de diffusion à un concept de référence fourni par l'utilisateur, en générant des images variées du concept alignées avec les prompts cibles. Les méthodes conventionnelles, qui représentent les concepts de référence à l'aide d'embeddings textuels uniques, échouent souvent à reproduire fidèlement l'apparence de la référence. Pour remédier à cela, une solution consiste à conditionner explicitement les images de référence dans le processus de débruitage cible, une approche connue sous le nom de remplacement clé-valeur. Cependant, les travaux précédents se limitent à des modifications locales car ils perturbent le chemin structurel du modèle T2I pré-entraîné. Pour surmonter cette limitation, nous proposons une nouvelle méthode plug-in, appelée DreamMatcher, qui reformule la personnalisation T2I en tant que correspondance sémantique. Concrètement, DreamMatcher remplace les valeurs cibles par des valeurs de référence alignées via une correspondance sémantique, tout en laissant le chemin structurel inchangé afin de préserver la capacité polyvalente des modèles T2I pré-entraînés à générer des structures variées. Nous introduisons également une stratégie de masquage sémantiquement cohérente pour isoler le concept personnalisé des régions non pertinentes introduites par les prompts cibles. Compatible avec les modèles T2I existants, DreamMatcher montre des améliorations significatives dans des scénarios complexes. Des analyses approfondies démontrent l'efficacité de notre approche.

English

The objective of text-to-image (T2I) personalization is to customize a diffusion model to a user-provided reference concept, generating diverse images of the concept aligned with the target prompts. Conventional methods representing the reference concepts using unique text embeddings often fail to accurately mimic the appearance of the reference. To address this, one solution may be explicitly conditioning the reference images into the target denoising process, known as key-value replacement. However, prior works are constrained to local editing since they disrupt the structure path of the pre-trained T2I model. To overcome this, we propose a novel plug-in method, called DreamMatcher, which reformulates T2I personalization as semantic matching. Specifically, DreamMatcher replaces the target values with reference values aligned by semantic matching, while leaving the structure path unchanged to preserve the versatile capability of pre-trained T2I models for generating diverse structures. We also introduce a semantic-consistent masking strategy to isolate the personalized concept from irrelevant regions introduced by the target prompts. Compatible with existing T2I models, DreamMatcher shows significant improvements in complex scenarios. Intensive analyses demonstrate the effectiveness of our approach.