DreamMatcher: Erscheinungsabgleichende Self-Attention für semantisch konsistente Text-zu-Bild-Personalisierung

DreamMatcher: Appearance Matching Self-Attention for Semantically-Consistent Text-to-Image Personalization

February 15, 2024

Autoren: Jisu Nam, Heesu Kim, DongJae Lee, Siyoon Jin, Seungryong Kim, Seunggyu Chang

cs.AI

Zusammenfassung

Das Ziel der Text-zu-Bild (T2I)-Personalisierung besteht darin, ein Diffusionsmodell an ein benutzerdefiniertes Referenzkonzept anzupassen, um vielfältige Bilder des Konzepts zu erzeugen, die mit den Zielvorgaben übereinstimmen. Konventionelle Methoden, die die Referenzkonzepte mit einzigartigen Text-Einbettungen repräsentieren, scheitern oft daran, das Aussehen der Referenz genau nachzuahmen. Um dies zu beheben, könnte eine Lösung darin bestehen, die Referenzbilder explizit in den Ziel-Entrauschungsprozess einzubinden, was als Schlüssel-Wert-Ersetzung bekannt ist. Frühere Arbeiten sind jedoch auf lokale Bearbeitungen beschränkt, da sie den Strukturpfad des vortrainierten T2I-Modells stören. Um dies zu überwinden, schlagen wir eine neuartige Plug-in-Methode namens DreamMatcher vor, die T2I-Personalisierung als semantisches Matching neu formuliert. Insbesondere ersetzt DreamMatcher die Zielwerte durch Referenzwerte, die durch semantisches Matching ausgerichtet sind, während der Strukturpfad unverändert bleibt, um die vielseitige Fähigkeit vortrainierter T2I-Modelle zur Erzeugung diverser Strukturen zu bewahren. Wir führen auch eine semantisch konsistente Maskierungsstrategie ein, um das personalisierte Konzept von irrelevanten Bereichen zu isolieren, die durch die Zielvorgaben eingeführt werden. DreamMatcher, das mit bestehenden T2I-Modellen kompatibel ist, zeigt signifikante Verbesserungen in komplexen Szenarien. Intensive Analysen demonstrieren die Wirksamkeit unseres Ansatzes.

English

The objective of text-to-image (T2I) personalization is to customize a diffusion model to a user-provided reference concept, generating diverse images of the concept aligned with the target prompts. Conventional methods representing the reference concepts using unique text embeddings often fail to accurately mimic the appearance of the reference. To address this, one solution may be explicitly conditioning the reference images into the target denoising process, known as key-value replacement. However, prior works are constrained to local editing since they disrupt the structure path of the pre-trained T2I model. To overcome this, we propose a novel plug-in method, called DreamMatcher, which reformulates T2I personalization as semantic matching. Specifically, DreamMatcher replaces the target values with reference values aligned by semantic matching, while leaving the structure path unchanged to preserve the versatile capability of pre-trained T2I models for generating diverse structures. We also introduce a semantic-consistent masking strategy to isolate the personalized concept from irrelevant regions introduced by the target prompts. Compatible with existing T2I models, DreamMatcher shows significant improvements in complex scenarios. Intensive analyses demonstrate the effectiveness of our approach.