Улучшение выравнивания длинных текстов для моделей диффузии текста в изображение

Improving Long-Text Alignment for Text-to-Image Diffusion Models

October 15, 2024

Авторы: Luping Liu, Chao Du, Tianyu Pang, Zehan Wang, Chongxuan Li, Dong Xu

cs.AI

Аннотация

Быстрое развитие моделей диффузии текста в изображение (T2I) позволило им генерировать беспрецедентные результаты по заданным текстам. Однако с увеличением длины текстовых входов существующие методы кодирования, такие как CLIP, сталкиваются с ограничениями, и выравнивание сгенерированных изображений с длинными текстами становится сложной задачей. Для решения этих проблем мы предлагаем LongAlign, который включает метод кодирования на уровне сегментов для обработки длинных текстов и метод оптимизации предпочтений с декомпозицией для эффективного обучения выравниванию. Для кодирования на уровне сегментов длинные тексты разделяются на несколько сегментов и обрабатываются отдельно. Этот метод преодолевает ограничения максимальной длины входа моделей предварительного кодирования. Для оптимизации предпочтений мы предоставляем декомпозированные модели предпочтений на основе CLIP для настройки моделей диффузии. Конкретно, для использования моделей предпочтений на основе CLIP для выравнивания T2I, мы изучаем их механизмы оценки и обнаруживаем, что оценки предпочтений могут быть декомпозированы на две составляющие: часть, связанную с текстом, которая измеряет выравнивание T2I, и часть, не связанную с текстом, которая оценивает другие визуальные аспекты человеческого предпочтения. Кроме того, мы обнаруживаем, что часть, не связанная с текстом, способствует распространенной проблеме переобучения во время настройки. Для решения этой проблемы мы предлагаем стратегию перевзвешивания, которая назначает разные веса этим двум компонентам, тем самым уменьшая переобучение и улучшая выравнивание. После настройки 512 раз 512 Stable Diffusion (SD) v1.5 примерно на 20 часов с использованием нашего метода, настроенный SD превосходит более сильные базовые модели в выравнивании T2I, такие как PixArt-alpha и Kandinsky v2.2. Код доступен по ссылке https://github.com/luping-liu/LongAlign.

English

The rapid advancement of text-to-image (T2I) diffusion models has enabled them to generate unprecedented results from given texts. However, as text inputs become longer, existing encoding methods like CLIP face limitations, and aligning the generated images with long texts becomes challenging. To tackle these issues, we propose LongAlign, which includes a segment-level encoding method for processing long texts and a decomposed preference optimization method for effective alignment training. For segment-level encoding, long texts are divided into multiple segments and processed separately. This method overcomes the maximum input length limits of pretrained encoding models. For preference optimization, we provide decomposed CLIP-based preference models to fine-tune diffusion models. Specifically, to utilize CLIP-based preference models for T2I alignment, we delve into their scoring mechanisms and find that the preference scores can be decomposed into two components: a text-relevant part that measures T2I alignment and a text-irrelevant part that assesses other visual aspects of human preference. Additionally, we find that the text-irrelevant part contributes to a common overfitting problem during fine-tuning. To address this, we propose a reweighting strategy that assigns different weights to these two components, thereby reducing overfitting and enhancing alignment. After fine-tuning 512 times 512 Stable Diffusion (SD) v1.5 for about 20 hours using our method, the fine-tuned SD outperforms stronger foundation models in T2I alignment, such as PixArt-alpha and Kandinsky v2.2. The code is available at https://github.com/luping-liu/LongAlign.