DreamMatcher: Uiterlijk-Matchend Zelf-Attentie voor Semantisch Consistente Tekst-naar-Beeld Personalisatie

DreamMatcher: Appearance Matching Self-Attention for Semantically-Consistent Text-to-Image Personalization

February 15, 2024

Auteurs: Jisu Nam, Heesu Kim, DongJae Lee, Siyoon Jin, Seungryong Kim, Seunggyu Chang

cs.AI

Samenvatting

Het doel van tekst-naar-beeld (T2I) personalisatie is het aanpassen van een diffusiemodel aan een door de gebruiker aangegeven referentieconcept, waarbij diverse afbeeldingen van het concept worden gegenereerd die overeenkomen met de doelprompts. Traditionele methoden die de referentieconcepten weergeven met unieke tekst-embeddings, slagen er vaak niet in om het uiterlijk van de referentie nauwkeurig na te bootsen. Om dit aan te pakken, kan een oplossing zijn om de referentiebeelden expliciet te conditioneren in het doel-denoisingproces, bekend als key-value vervanging. Eerdere werken zijn echter beperkt tot lokale bewerkingen omdat ze de structuurpad van het vooraf getrainde T2I-model verstoren. Om dit te overwinnen, stellen we een nieuwe plug-in methode voor, genaamd DreamMatcher, die T2I-personalisatie herformuleert als semantische matching. Specifiek vervangt DreamMatcher de doelwaarden met referentiewaarden die zijn uitgelijnd door semantische matching, terwijl het structuurpad ongewijzigd blijft om de veelzijdige mogelijkheid van vooraf getrainde T2I-modellen voor het genereren van diverse structuren te behouden. We introduceren ook een semantisch consistente maskerstrategie om het gepersonaliseerde concept te isoleren van irrelevante regio's die door de doelprompts worden geïntroduceerd. Compatibel met bestaande T2I-modellen, toont DreamMatcher aanzienlijke verbeteringen in complexe scenario's. Intensieve analyses demonstreren de effectiviteit van onze aanpak.

English

The objective of text-to-image (T2I) personalization is to customize a diffusion model to a user-provided reference concept, generating diverse images of the concept aligned with the target prompts. Conventional methods representing the reference concepts using unique text embeddings often fail to accurately mimic the appearance of the reference. To address this, one solution may be explicitly conditioning the reference images into the target denoising process, known as key-value replacement. However, prior works are constrained to local editing since they disrupt the structure path of the pre-trained T2I model. To overcome this, we propose a novel plug-in method, called DreamMatcher, which reformulates T2I personalization as semantic matching. Specifically, DreamMatcher replaces the target values with reference values aligned by semantic matching, while leaving the structure path unchanged to preserve the versatile capability of pre-trained T2I models for generating diverse structures. We also introduce a semantic-consistent masking strategy to isolate the personalized concept from irrelevant regions introduced by the target prompts. Compatible with existing T2I models, DreamMatcher shows significant improvements in complex scenarios. Intensive analyses demonstrate the effectiveness of our approach.