CoRe: Aprendizado de Incorporação de Texto Regularizado por Contexto para Personalização de Texto-para-Imagem

CoRe: Context-Regularized Text Embedding Learning for Text-to-Image Personalization

August 28, 2024

Autores: Feize Wu, Yun Pang, Junyi Zhang, Lianyu Pang, Jian Yin, Baoquan Zhao, Qing Li, Xudong Mao

cs.AI

Resumo

Avanços recentes na personalização de texto para imagem têm possibilitado a síntese de imagens de alta qualidade e controláveis para conceitos fornecidos pelo usuário. No entanto, os métodos existentes ainda enfrentam dificuldades para equilibrar a preservação da identidade com o alinhamento do texto. Nossa abordagem baseia-se no fato de que a geração de imagens alinhadas com o texto requer uma compreensão semântica precisa do texto, o que envolve processar com precisão as interações entre o novo conceito e seus tokens de contexto circundantes dentro do codificador de texto CLIP. Para lidar com isso, nosso objetivo é incorporar adequadamente o novo conceito no espaço de incorporação de entrada do codificador de texto, permitindo a integração perfeita com os tokens existentes. Introduzimos a Regularização de Contexto (CoRe), que aprimora a aprendizagem da incorporação de texto do novo conceito ao regularizar seus tokens de contexto no texto. Isso se baseia na percepção de que vetores de saída apropriados do codificador de texto para os tokens de contexto só podem ser alcançados se a incorporação de texto do novo conceito for aprendida corretamente. CoRe pode ser aplicado a prompts arbitrários sem exigir a geração de imagens correspondentes, melhorando assim a generalização da incorporação de texto aprendida. Além disso, CoRe pode servir como uma técnica de otimização no momento do teste para aprimorar ainda mais as gerações para prompts específicos. Experimentos abrangentes demonstram que nosso método supera vários métodos de referência tanto na preservação da identidade quanto no alinhamento do texto. O código será disponibilizado publicamente.

English

Recent advances in text-to-image personalization have enabled high-quality and controllable image synthesis for user-provided concepts. However, existing methods still struggle to balance identity preservation with text alignment. Our approach is based on the fact that generating prompt-aligned images requires a precise semantic understanding of the prompt, which involves accurately processing the interactions between the new concept and its surrounding context tokens within the CLIP text encoder. To address this, we aim to embed the new concept properly into the input embedding space of the text encoder, allowing for seamless integration with existing tokens. We introduce Context Regularization (CoRe), which enhances the learning of the new concept's text embedding by regularizing its context tokens in the prompt. This is based on the insight that appropriate output vectors of the text encoder for the context tokens can only be achieved if the new concept's text embedding is correctly learned. CoRe can be applied to arbitrary prompts without requiring the generation of corresponding images, thus improving the generalization of the learned text embedding. Additionally, CoRe can serve as a test-time optimization technique to further enhance the generations for specific prompts. Comprehensive experiments demonstrate that our method outperforms several baseline methods in both identity preservation and text alignment. Code will be made publicly available.