CoRe: Apprendimento dell'Incorporamento Testuale Regolarizzato dal Contesto per la Personalizzazione Testo-Immagine

CoRe: Context-Regularized Text Embedding Learning for Text-to-Image Personalization

August 28, 2024

Autori: Feize Wu, Yun Pang, Junyi Zhang, Lianyu Pang, Jian Yin, Baoquan Zhao, Qing Li, Xudong Mao

cs.AI

Abstract

I recenti progressi nella personalizzazione testo-immagine hanno reso possibile la sintesi di immagini di alta qualità e controllabile per concetti forniti dagli utenti. Tuttavia, i metodi esistenti faticano ancora a bilanciare la conservazione dell'identità con l'allineamento del testo. Il nostro approccio si basa sul fatto che generare immagini allineate al prompt richiede una precisa comprensione semantica del prompt, che coinvolge il processamento accurato delle interazioni tra il nuovo concetto e i token di contesto circostanti all'interno dell'encoder di testo CLIP. Per affrontare questo problema, miriamo a incorporare correttamente il nuovo concetto nello spazio di embedding di input dell'encoder di testo, consentendo un'integrazione senza soluzione di continuità con i token esistenti. Introduciamo la Regolarizzazione del Contesto (CoRe), che potenzia l'apprendimento dell'embedding di testo del nuovo concetto regolarizzando i suoi token di contesto nel prompt. Ciò si basa sulla considerazione che i vettori di output appropriati dell'encoder di testo per i token di contesto possono essere ottenuti solo se l'embedding di testo del nuovo concetto viene appreso correttamente. CoRe può essere applicato a prompt arbitrari senza richiedere la generazione di immagini corrispondenti, migliorando così la generalizzazione dell'embedding di testo appreso. Inoltre, CoRe può fungere da tecnica di ottimizzazione al momento del test per migliorare ulteriormente le generazioni per prompt specifici. Esperimenti esaustivi dimostrano che il nostro metodo supera diversi metodi di base sia nella conservazione dell'identità che nell'allineamento del testo. Il codice sarà reso pubblicamente disponibile.

English

Recent advances in text-to-image personalization have enabled high-quality and controllable image synthesis for user-provided concepts. However, existing methods still struggle to balance identity preservation with text alignment. Our approach is based on the fact that generating prompt-aligned images requires a precise semantic understanding of the prompt, which involves accurately processing the interactions between the new concept and its surrounding context tokens within the CLIP text encoder. To address this, we aim to embed the new concept properly into the input embedding space of the text encoder, allowing for seamless integration with existing tokens. We introduce Context Regularization (CoRe), which enhances the learning of the new concept's text embedding by regularizing its context tokens in the prompt. This is based on the insight that appropriate output vectors of the text encoder for the context tokens can only be achieved if the new concept's text embedding is correctly learned. CoRe can be applied to arbitrary prompts without requiring the generation of corresponding images, thus improving the generalization of the learned text embedding. Additionally, CoRe can serve as a test-time optimization technique to further enhance the generations for specific prompts. Comprehensive experiments demonstrate that our method outperforms several baseline methods in both identity preservation and text alignment. Code will be made publicly available.