CoRe: Обучение векторных представлений текста с регуляризацией контекста для персонализации текста в изображениях

CoRe: Context-Regularized Text Embedding Learning for Text-to-Image Personalization

August 28, 2024

Авторы: Feize Wu, Yun Pang, Junyi Zhang, Lianyu Pang, Jian Yin, Baoquan Zhao, Qing Li, Xudong Mao

cs.AI

Аннотация

Недавние достижения в персонализации текста к изображениям позволили создавать синтез изображений высокого качества и управляемый пользователем для предоставленных концепций. Однако существующие методы все еще испытывают трудности с балансировкой сохранения идентичности и выравнивания текста. Наш подход основан на том, что генерация изображений, выровненных по запросу, требует точного семантического понимания запроса, что включает в себя точную обработку взаимодействий между новым концептом и его окружающими контекстными токенами в текстовом кодировщике CLIP. Для решения этой проблемы мы стремимся правильно внедрить новый концепт во входное пространство вложений текстового кодировщика, что позволит бесшовно интегрировать его с существующими токенами. Мы представляем метод регуляризации контекста (CoRe), который улучшает обучение вложения текста нового концепта путем регуляризации его контекстных токенов в запросе. Это основано на понимании того, что правильные выходные векторы текстового кодировщика для контекстных токенов могут быть достигнуты только в том случае, если вложение текста нового концепта было правильно изучено. CoRe может быть применен к произвольным запросам без необходимости генерации соответствующих изображений, что улучшает обобщение изученного вложения текста. Кроме того, CoRe может служить как техникой оптимизации на этапе тестирования для дальнейшего улучшения генерации для конкретных запросов. Обширные эксперименты показывают, что наш метод превосходит несколько базовых методов как в сохранении идентичности, так и в выравнивании текста. Код будет доступен публично.

English

Recent advances in text-to-image personalization have enabled high-quality and controllable image synthesis for user-provided concepts. However, existing methods still struggle to balance identity preservation with text alignment. Our approach is based on the fact that generating prompt-aligned images requires a precise semantic understanding of the prompt, which involves accurately processing the interactions between the new concept and its surrounding context tokens within the CLIP text encoder. To address this, we aim to embed the new concept properly into the input embedding space of the text encoder, allowing for seamless integration with existing tokens. We introduce Context Regularization (CoRe), which enhances the learning of the new concept's text embedding by regularizing its context tokens in the prompt. This is based on the insight that appropriate output vectors of the text encoder for the context tokens can only be achieved if the new concept's text embedding is correctly learned. CoRe can be applied to arbitrary prompts without requiring the generation of corresponding images, thus improving the generalization of the learned text embedding. Additionally, CoRe can serve as a test-time optimization technique to further enhance the generations for specific prompts. Comprehensive experiments demonstrate that our method outperforms several baseline methods in both identity preservation and text alignment. Code will be made publicly available.