Mejorando la alineación de textos largos para modelos de difusión de texto a imagen

Improving Long-Text Alignment for Text-to-Image Diffusion Models

October 15, 2024

Autores: Luping Liu, Chao Du, Tianyu Pang, Zehan Wang, Chongxuan Li, Dong Xu

cs.AI

Resumen

El rápido avance de los modelos de difusión texto-a-imagen (T2I) ha permitido que generen resultados sin precedentes a partir de textos dados. Sin embargo, a medida que las entradas de texto se hacen más largas, los métodos de codificación existentes como CLIP enfrentan limitaciones, y alinear las imágenes generadas con textos largos se vuelve desafiante. Para abordar estos problemas, proponemos LongAlign, que incluye un método de codificación a nivel de segmento para procesar textos largos y un método de optimización de preferencias descompuestas para un entrenamiento efectivo de alineación. Para la codificación a nivel de segmento, los textos largos se dividen en múltiples segmentos y se procesan por separado. Este método supera los límites de longitud de entrada máxima de los modelos de codificación preentrenados. Para la optimización de preferencias, proporcionamos modelos de preferencias basados en CLIP descompuestos para ajustar finamente los modelos de difusión. Específicamente, para utilizar modelos de preferencias basados en CLIP para la alineación T2I, profundizamos en sus mecanismos de puntuación y encontramos que las puntuaciones de preferencia pueden descomponerse en dos componentes: una parte relevante para el texto que mide la alineación T2I y una parte irrelevante para el texto que evalúa otros aspectos visuales de preferencia humana. Además, encontramos que la parte irrelevante para el texto contribuye a un problema común de sobreajuste durante el ajuste fino. Para abordar esto, proponemos una estrategia de reponderación que asigna diferentes pesos a estos dos componentes, reduciendo así el sobreajuste y mejorando la alineación. Después de ajustar finamente 512 veces 512 Stable Diffusion (SD) v1.5 durante aproximadamente 20 horas utilizando nuestro método, el SD ajustado finamente supera a modelos de base más sólidos en la alineación T2I, como PixArt-alpha y Kandinsky v2.2. El código está disponible en https://github.com/luping-liu/LongAlign.

English

The rapid advancement of text-to-image (T2I) diffusion models has enabled them to generate unprecedented results from given texts. However, as text inputs become longer, existing encoding methods like CLIP face limitations, and aligning the generated images with long texts becomes challenging. To tackle these issues, we propose LongAlign, which includes a segment-level encoding method for processing long texts and a decomposed preference optimization method for effective alignment training. For segment-level encoding, long texts are divided into multiple segments and processed separately. This method overcomes the maximum input length limits of pretrained encoding models. For preference optimization, we provide decomposed CLIP-based preference models to fine-tune diffusion models. Specifically, to utilize CLIP-based preference models for T2I alignment, we delve into their scoring mechanisms and find that the preference scores can be decomposed into two components: a text-relevant part that measures T2I alignment and a text-irrelevant part that assesses other visual aspects of human preference. Additionally, we find that the text-irrelevant part contributes to a common overfitting problem during fine-tuning. To address this, we propose a reweighting strategy that assigns different weights to these two components, thereby reducing overfitting and enhancing alignment. After fine-tuning 512 times 512 Stable Diffusion (SD) v1.5 for about 20 hours using our method, the fine-tuned SD outperforms stronger foundation models in T2I alignment, such as PixArt-alpha and Kandinsky v2.2. The code is available at https://github.com/luping-liu/LongAlign.