Melhorando o Alinhamento de Textos Longos para Modelos de Difusão de Texto-para-Imagem

Improving Long-Text Alignment for Text-to-Image Diffusion Models

October 15, 2024

Autores: Luping Liu, Chao Du, Tianyu Pang, Zehan Wang, Chongxuan Li, Dong Xu

cs.AI

Resumo

O rápido avanço dos modelos de difusão texto-imagem (T2I) permitiu que eles gerassem resultados sem precedentes a partir de textos fornecidos. No entanto, à medida que as entradas de texto se tornam mais longas, métodos de codificação existentes como o CLIP enfrentam limitações, e alinhar as imagens geradas com textos longos se torna desafiador. Para lidar com essas questões, propomos o LongAlign, que inclui um método de codificação em nível de segmento para processar textos longos e um método de otimização de preferência decomposta para treinamento de alinhamento eficaz. Para a codificação em nível de segmento, textos longos são divididos em vários segmentos e processados separadamente. Este método supera os limites de comprimento de entrada máxima dos modelos de codificação pré-treinados. Para a otimização de preferência, fornecemos modelos de preferência baseados no CLIP decompostos para ajustar finamente os modelos de difusão. Especificamente, para utilizar modelos de preferência baseados no CLIP para alinhamento T2I, investigamos seus mecanismos de pontuação e descobrimos que as pontuações de preferência podem ser decompostas em dois componentes: uma parte relevante para texto que mede o alinhamento T2I e uma parte irrelevante para texto que avalia outros aspectos visuais da preferência humana. Além disso, descobrimos que a parte irrelevante para texto contribui para um problema comum de sobreajuste durante o ajuste fino. Para lidar com isso, propomos uma estratégia de reponderação que atribui pesos diferentes a esses dois componentes, reduzindo assim o sobreajuste e aprimorando o alinhamento. Após ajustar finamente 512 vezes o 512 Stable Diffusion (SD) v1.5 por cerca de 20 horas usando nosso método, o SD ajustado supera modelos de fundação mais fortes no alinhamento T2I, como PixArt-alpha e Kandinsky v2.2. O código está disponível em https://github.com/luping-liu/LongAlign.

English

The rapid advancement of text-to-image (T2I) diffusion models has enabled them to generate unprecedented results from given texts. However, as text inputs become longer, existing encoding methods like CLIP face limitations, and aligning the generated images with long texts becomes challenging. To tackle these issues, we propose LongAlign, which includes a segment-level encoding method for processing long texts and a decomposed preference optimization method for effective alignment training. For segment-level encoding, long texts are divided into multiple segments and processed separately. This method overcomes the maximum input length limits of pretrained encoding models. For preference optimization, we provide decomposed CLIP-based preference models to fine-tune diffusion models. Specifically, to utilize CLIP-based preference models for T2I alignment, we delve into their scoring mechanisms and find that the preference scores can be decomposed into two components: a text-relevant part that measures T2I alignment and a text-irrelevant part that assesses other visual aspects of human preference. Additionally, we find that the text-irrelevant part contributes to a common overfitting problem during fine-tuning. To address this, we propose a reweighting strategy that assigns different weights to these two components, thereby reducing overfitting and enhancing alignment. After fine-tuning 512 times 512 Stable Diffusion (SD) v1.5 for about 20 hours using our method, the fine-tuned SD outperforms stronger foundation models in T2I alignment, such as PixArt-alpha and Kandinsky v2.2. The code is available at https://github.com/luping-liu/LongAlign.