Verbesserung der Langtextausrichtung für Text-zu-Bild-Diffusionsmodelle

Improving Long-Text Alignment for Text-to-Image Diffusion Models

October 15, 2024

Autoren: Luping Liu, Chao Du, Tianyu Pang, Zehan Wang, Chongxuan Li, Dong Xu

cs.AI

Zusammenfassung

Der rasante Fortschritt von Text-zu-Bild (T2I) Diffusionsmodellen hat sie befähigt, beispiellose Ergebnisse aus gegebenen Texten zu generieren. Allerdings stoßen bestehende Codierungsmethoden wie CLIP an ihre Grenzen, wenn die Texteingaben länger werden, und die Ausrichtung der generierten Bilder mit langen Texten wird herausfordernd. Um diese Probleme anzugehen, schlagen wir LongAlign vor, das eine Segmentebene-Codierungsmethode zur Verarbeitung langer Texte und eine zerlegte Präferenzoptimierungsmethode für effektives Ausrichtungstraining umfasst. Bei der Segmentebene-Codierung werden lange Texte in mehrere Segmente aufgeteilt und separat verarbeitet. Diese Methode überwindet die maximalen Eingabelängenbeschränkungen vortrainierter Codierungsmodelle. Für die Präferenzoptimierung stellen wir zerlegte CLIP-basierte Präferenzmodelle zur Feinabstimmung der Diffusionsmodelle bereit. Insbesondere tauchen wir in ihre Bewertungsmechanismen ein und stellen fest, dass die Präferenzwerte in zwei Komponenten zerlegt werden können: ein textrelevanter Teil, der die T2I-Ausrichtung misst, und ein textirrelevanter Teil, der andere visuelle Aspekte der menschlichen Präferenz bewertet. Darüber hinaus stellen wir fest, dass der textirrelevante Teil zu einem häufigen Überanpassungsproblem während der Feinabstimmung beiträgt. Um dies anzugehen, schlagen wir eine Neugewichtungsstrategie vor, die diesen beiden Komponenten unterschiedliche Gewichte zuweist, um so Überanpassung zu reduzieren und die Ausrichtung zu verbessern. Nachdem wir 512-mal 512 Stable Diffusion (SD) v1.5 für etwa 20 Stunden mit unserer Methode feinabgestimmt haben, übertrifft der feinabgestimmte SD stärkere Grundlagenmodelle in der T2I-Ausrichtung, wie PixArt-alpha und Kandinsky v2.2. Der Code ist verfügbar unter https://github.com/luping-liu/LongAlign.

English

The rapid advancement of text-to-image (T2I) diffusion models has enabled them to generate unprecedented results from given texts. However, as text inputs become longer, existing encoding methods like CLIP face limitations, and aligning the generated images with long texts becomes challenging. To tackle these issues, we propose LongAlign, which includes a segment-level encoding method for processing long texts and a decomposed preference optimization method for effective alignment training. For segment-level encoding, long texts are divided into multiple segments and processed separately. This method overcomes the maximum input length limits of pretrained encoding models. For preference optimization, we provide decomposed CLIP-based preference models to fine-tune diffusion models. Specifically, to utilize CLIP-based preference models for T2I alignment, we delve into their scoring mechanisms and find that the preference scores can be decomposed into two components: a text-relevant part that measures T2I alignment and a text-irrelevant part that assesses other visual aspects of human preference. Additionally, we find that the text-irrelevant part contributes to a common overfitting problem during fine-tuning. To address this, we propose a reweighting strategy that assigns different weights to these two components, thereby reducing overfitting and enhancing alignment. After fine-tuning 512 times 512 Stable Diffusion (SD) v1.5 for about 20 hours using our method, the fine-tuned SD outperforms stronger foundation models in T2I alignment, such as PixArt-alpha and Kandinsky v2.2. The code is available at https://github.com/luping-liu/LongAlign.