FRAP: Treue und realistische Text-zu-Bild-Generierung mit adaptiver Prompt-Gewichtung

FRAP: Faithful and Realistic Text-to-Image Generation with Adaptive Prompt Weighting

August 21, 2024

Autoren: Liyao Jiang, Negar Hassanpour, Mohammad Salameh, Mohan Sai Singamsetti, Fengyu Sun, Wei Lu, Di Niu

cs.AI

Zusammenfassung

Text-zu-Bild (T2I) Diffusionsmodelle haben beeindruckende Fähigkeiten bei der Erzeugung hochwertiger Bilder anhand eines Texthinweises gezeigt. Die Sicherstellung der Ausrichtung von Hinweis und Bild bleibt jedoch eine erhebliche Herausforderung, d.h., Bilder zu erzeugen, die treu mit der Semantik des Hinweises übereinstimmen. Aktuelle Arbeiten versuchen, die Treue zu verbessern, indem sie den latenten Code optimieren, was potenziell dazu führen könnte, dass der latente Code außerhalb der Verteilung gerät und somit unrealistische Bilder erzeugt. In diesem Papier schlagen wir FRAP vor, einen einfachen, aber effektiven Ansatz, der auf der adaptiven Anpassung der Gewichte pro Token-Hinweis basiert, um die Ausrichtung von Hinweis und Bild sowie die Authentizität der erzeugten Bilder zu verbessern. Wir entwerfen einen Online-Algorithmus zur adaptiven Aktualisierung des Gewichtskoeffizienten jedes Tokens, der durch die Minimierung einer vereinheitlichten Ziel-Funktion erreicht wird, die die Präsenz von Objekten und die Bindung von Objekt-Modifikator-Paaren fördert. Durch umfangreiche Bewertungen zeigen wir, dass FRAP Bilder erzeugt, die eine signifikant höhere Ausrichtung von Hinweis und Bild zu Hinweisen aus komplexen Datensätzen aufweisen, während sie im Durchschnitt eine geringere Latenz aufweisen im Vergleich zu aktuellen Methoden zur Optimierung des latenten Codes, z.B., 4 Sekunden schneller als D&B auf dem COCO-Subject Datensatz. Darüber hinaus zeigen wir durch visuelle Vergleiche und Bewertungen anhand des CLIP-IQA-Real Metriks, dass FRAP nicht nur die Ausrichtung von Hinweis und Bild verbessert, sondern auch authentischere Bilder mit realistischem Erscheinungsbild erzeugt. Wir untersuchen auch die Kombination von FRAP mit prompt rewriting LLM, um ihre degradierte Ausrichtung von Hinweis und Bild wiederherzustellen, wobei wir Verbesserungen sowohl bei der Ausrichtung von Hinweis und Bild als auch bei der Bildqualität feststellen.

English

Text-to-image (T2I) diffusion models have demonstrated impressive capabilities in generating high-quality images given a text prompt. However, ensuring the prompt-image alignment remains a considerable challenge, i.e., generating images that faithfully align with the prompt's semantics. Recent works attempt to improve the faithfulness by optimizing the latent code, which potentially could cause the latent code to go out-of-distribution and thus produce unrealistic images. In this paper, we propose FRAP, a simple, yet effective approach based on adaptively adjusting the per-token prompt weights to improve prompt-image alignment and authenticity of the generated images. We design an online algorithm to adaptively update each token's weight coefficient, which is achieved by minimizing a unified objective function that encourages object presence and the binding of object-modifier pairs. Through extensive evaluations, we show FRAP generates images with significantly higher prompt-image alignment to prompts from complex datasets, while having a lower average latency compared to recent latent code optimization methods, e.g., 4 seconds faster than D&B on the COCO-Subject dataset. Furthermore, through visual comparisons and evaluation on the CLIP-IQA-Real metric, we show that FRAP not only improves prompt-image alignment but also generates more authentic images with realistic appearances. We also explore combining FRAP with prompt rewriting LLM to recover their degraded prompt-image alignment, where we observe improvements in both prompt-image alignment and image quality.