DreamMatcher: Atención Autodirigida de Coincidencia de Apariencia para la Personalización de Texto a Imagen con Consistencia Semántica

DreamMatcher: Appearance Matching Self-Attention for Semantically-Consistent Text-to-Image Personalization

February 15, 2024

Autores: Jisu Nam, Heesu Kim, DongJae Lee, Siyoon Jin, Seungryong Kim, Seunggyu Chang

cs.AI

Resumen

El objetivo de la personalización de texto a imagen (T2I) es adaptar un modelo de difusión a un concepto de referencia proporcionado por el usuario, generando imágenes diversas del concepto que estén alineadas con las indicaciones objetivo. Los métodos convencionales que representan los conceptos de referencia mediante incrustaciones de texto únicas a menudo no logran imitar con precisión la apariencia de la referencia. Para abordar esto, una posible solución es condicionar explícitamente las imágenes de referencia en el proceso de eliminación de ruido objetivo, conocido como reemplazo clave-valor. Sin embargo, trabajos anteriores se limitan a la edición local, ya que alteran la ruta de estructura del modelo T2I preentrenado. Para superar esto, proponemos un nuevo método complementario, llamado DreamMatcher, que reformula la personalización T2I como un emparejamiento semántico. Específicamente, DreamMatcher reemplaza los valores objetivo con valores de referencia alineados mediante emparejamiento semántico, mientras deja la ruta de estructura sin cambios para preservar la capacidad versátil de los modelos T2I preentrenados para generar estructuras diversas. También introducimos una estrategia de enmascaramiento semánticamente consistente para aislar el concepto personalizado de las regiones irrelevantes introducidas por las indicaciones objetivo. Compatible con los modelos T2I existentes, DreamMatcher muestra mejoras significativas en escenarios complejos. Análisis exhaustivos demuestran la efectividad de nuestro enfoque.

English

The objective of text-to-image (T2I) personalization is to customize a diffusion model to a user-provided reference concept, generating diverse images of the concept aligned with the target prompts. Conventional methods representing the reference concepts using unique text embeddings often fail to accurately mimic the appearance of the reference. To address this, one solution may be explicitly conditioning the reference images into the target denoising process, known as key-value replacement. However, prior works are constrained to local editing since they disrupt the structure path of the pre-trained T2I model. To overcome this, we propose a novel plug-in method, called DreamMatcher, which reformulates T2I personalization as semantic matching. Specifically, DreamMatcher replaces the target values with reference values aligned by semantic matching, while leaving the structure path unchanged to preserve the versatile capability of pre-trained T2I models for generating diverse structures. We also introduce a semantic-consistent masking strategy to isolate the personalized concept from irrelevant regions introduced by the target prompts. Compatible with existing T2I models, DreamMatcher shows significant improvements in complex scenarios. Intensive analyses demonstrate the effectiveness of our approach.