DreamMatcher: Atenção Automática de Correspondência de Aparência para Personalização de Texto para Imagem Semanticamente Consistente

DreamMatcher: Appearance Matching Self-Attention for Semantically-Consistent Text-to-Image Personalization

February 15, 2024

Autores: Jisu Nam, Heesu Kim, DongJae Lee, Siyoon Jin, Seungryong Kim, Seunggyu Chang

cs.AI

Resumo

O objetivo da personalização de texto para imagem (T2I) é adaptar um modelo de difusão a um conceito de referência fornecido pelo usuário, gerando imagens diversas do conceito alinhadas com os prompts-alvo. Métodos convencionais que representam os conceitos de referência usando embeddings de texto únicos frequentemente falham em imitar com precisão a aparência da referência. Para resolver isso, uma solução pode ser condicionar explicitamente as imagens de referência no processo de remoção de ruído alvo, conhecido como substituição de chave-valor. No entanto, trabalhos anteriores são limitados à edição local, pois perturbam o caminho estrutural do modelo T2I pré-treinado. Para superar isso, propomos um novo método plug-in, chamado DreamMatcher, que reformula a personalização T2I como correspondência semântica. Especificamente, o DreamMatcher substitui os valores-alvo por valores de referência alinhados por correspondência semântica, mantendo o caminho estrutural inalterado para preservar a capacidade versátil dos modelos T2I pré-treinados de gerar estruturas diversas. Também introduzimos uma estratégia de mascaramento semântico-consistente para isolar o conceito personalizado de regiões irrelevantes introduzidas pelos prompts-alvo. Compatível com modelos T2I existentes, o DreamMatcher mostra melhorias significativas em cenários complexos. Análises intensivas demonstram a eficácia da nossa abordagem.

English

The objective of text-to-image (T2I) personalization is to customize a diffusion model to a user-provided reference concept, generating diverse images of the concept aligned with the target prompts. Conventional methods representing the reference concepts using unique text embeddings often fail to accurately mimic the appearance of the reference. To address this, one solution may be explicitly conditioning the reference images into the target denoising process, known as key-value replacement. However, prior works are constrained to local editing since they disrupt the structure path of the pre-trained T2I model. To overcome this, we propose a novel plug-in method, called DreamMatcher, which reformulates T2I personalization as semantic matching. Specifically, DreamMatcher replaces the target values with reference values aligned by semantic matching, while leaving the structure path unchanged to preserve the versatile capability of pre-trained T2I models for generating diverse structures. We also introduce a semantic-consistent masking strategy to isolate the personalized concept from irrelevant regions introduced by the target prompts. Compatible with existing T2I models, DreamMatcher shows significant improvements in complex scenarios. Intensive analyses demonstrate the effectiveness of our approach.