DreamMatcher: Attenzione Self per l'Abbinamento dell'Aspetto per la Personalizzazione da Testo a Immagine Semanticamente Coerente

DreamMatcher: Appearance Matching Self-Attention for Semantically-Consistent Text-to-Image Personalization

February 15, 2024

Autori: Jisu Nam, Heesu Kim, DongJae Lee, Siyoon Jin, Seungryong Kim, Seunggyu Chang

cs.AI

Abstract

L'obiettivo della personalizzazione da testo a immagine (T2I) è adattare un modello di diffusione a un concetto di riferimento fornito dall'utente, generando immagini diverse del concetto allineate con le indicazioni testuali specificate. I metodi convenzionali, che rappresentano i concetti di riferimento utilizzando incorporamenti testuali unici, spesso non riescono a replicare accuratamente l'aspetto del riferimento. Per affrontare questo problema, una possibile soluzione è condizionare esplicitamente le immagini di riferimento nel processo di denoising target, noto come sostituzione chiave-valore. Tuttavia, i lavori precedenti sono limitati a modifiche locali poiché interrompono il percorso strutturale del modello T2I pre-addestrato. Per superare questa limitazione, proponiamo un nuovo metodo plug-in, chiamato DreamMatcher, che riformula la personalizzazione T2I come un problema di corrispondenza semantica. Nello specifico, DreamMatcher sostituisce i valori target con valori di riferimento allineati tramite corrispondenza semantica, mantenendo invariato il percorso strutturale per preservare la capacità versatile dei modelli T2I pre-addestrati di generare strutture diverse. Introduciamo inoltre una strategia di mascheramento semantico-consistente per isolare il concetto personalizzato dalle regioni irrilevanti introdotte dalle indicazioni testuali. Compatibile con i modelli T2I esistenti, DreamMatcher mostra miglioramenti significativi in scenari complessi. Analisi approfondite dimostrano l'efficacia del nostro approccio.

English

The objective of text-to-image (T2I) personalization is to customize a diffusion model to a user-provided reference concept, generating diverse images of the concept aligned with the target prompts. Conventional methods representing the reference concepts using unique text embeddings often fail to accurately mimic the appearance of the reference. To address this, one solution may be explicitly conditioning the reference images into the target denoising process, known as key-value replacement. However, prior works are constrained to local editing since they disrupt the structure path of the pre-trained T2I model. To overcome this, we propose a novel plug-in method, called DreamMatcher, which reformulates T2I personalization as semantic matching. Specifically, DreamMatcher replaces the target values with reference values aligned by semantic matching, while leaving the structure path unchanged to preserve the versatile capability of pre-trained T2I models for generating diverse structures. We also introduce a semantic-consistent masking strategy to isolate the personalized concept from irrelevant regions introduced by the target prompts. Compatible with existing T2I models, DreamMatcher shows significant improvements in complex scenarios. Intensive analyses demonstrate the effectiveness of our approach.