DreamMatcher: Само-внимание для согласования внешнего вида с целью семантически-согласованной персонализации текста в изображения

DreamMatcher: Appearance Matching Self-Attention for Semantically-Consistent Text-to-Image Personalization

February 15, 2024

Авторы: Jisu Nam, Heesu Kim, DongJae Lee, Siyoon Jin, Seungryong Kim, Seunggyu Chang

cs.AI

Аннотация

Цель персонализации текста в изображение (Text-to-Image, T2I) заключается в адаптации диффузионной модели под предоставленный пользователем референсный концепт, что позволяет генерировать разнообразные изображения концепта, соответствующие целевым запросам. Традиционные методы, представляющие референсные концепты с помощью уникальных текстовых эмбеддингов, часто не могут точно воспроизвести внешний вид референса. Для решения этой проблемы одним из подходов может быть явное включение референсных изображений в процесс целевого шумоподавления, известное как замена ключ-значение. Однако предыдущие работы ограничиваются локальным редактированием, поскольку они нарушают структурный путь предварительно обученной T2I модели. Чтобы преодолеть это ограничение, мы предлагаем новый подключаемый метод под названием DreamMatcher, который переформулирует персонализацию T2I как семантическое сопоставление. В частности, DreamMatcher заменяет целевые значения на референсные, выровненные с помощью семантического сопоставления, при этом оставляя структурный путь неизменным, чтобы сохранить универсальные возможности предварительно обученных T2I моделей для генерации разнообразных структур. Мы также вводим стратегию семантически согласованного маскирования, чтобы изолировать персонализированный концепт от нерелевантных областей, вводимых целевыми запросами. Совместимый с существующими T2I моделями, DreamMatcher демонстрирует значительные улучшения в сложных сценариях. Интенсивный анализ подтверждает эффективность нашего подхода.

English

The objective of text-to-image (T2I) personalization is to customize a diffusion model to a user-provided reference concept, generating diverse images of the concept aligned with the target prompts. Conventional methods representing the reference concepts using unique text embeddings often fail to accurately mimic the appearance of the reference. To address this, one solution may be explicitly conditioning the reference images into the target denoising process, known as key-value replacement. However, prior works are constrained to local editing since they disrupt the structure path of the pre-trained T2I model. To overcome this, we propose a novel plug-in method, called DreamMatcher, which reformulates T2I personalization as semantic matching. Specifically, DreamMatcher replaces the target values with reference values aligned by semantic matching, while leaving the structure path unchanged to preserve the versatile capability of pre-trained T2I models for generating diverse structures. We also introduce a semantic-consistent masking strategy to isolate the personalized concept from irrelevant regions introduced by the target prompts. Compatible with existing T2I models, DreamMatcher shows significant improvements in complex scenarios. Intensive analyses demonstrate the effectiveness of our approach.