FRAP: Getrouwe en realistische tekst-naar-beeldgeneratie met adaptieve promptweging

FRAP: Faithful and Realistic Text-to-Image Generation with Adaptive Prompt Weighting

August 21, 2024

Auteurs: Liyao Jiang, Negar Hassanpour, Mohammad Salameh, Mohan Sai Singamsetti, Fengyu Sun, Wei Lu, Di Niu

cs.AI

Samenvatting

Text-to-image (T2I) diffusiemodellen hebben indrukwekkende mogelijkheden getoond in het genereren van hoogwaardige afbeeldingen op basis van een tekstprompt. Het waarborgen van de prompt-afbeelding-alignering blijft echter een aanzienlijke uitdaging, dat wil zeggen, het genereren van afbeeldingen die nauwkeurig aansluiten bij de semantiek van de prompt. Recente werken proberen de betrouwbaarheid te verbeteren door de latente code te optimaliseren, wat er mogelijk toe kan leiden dat de latente code buiten de distributie valt en dus onrealistische afbeeldingen produceert. In dit artikel stellen we FRAP voor, een eenvoudige maar effectieve aanpak die gebaseerd is op het adaptief aanpassen van de promptgewichten per token om de prompt-afbeelding-alignering en de authenticiteit van de gegenereerde afbeeldingen te verbeteren. We ontwerpen een online algoritme om het gewichtscoëfficiënt van elke token adaptief bij te werken, wat wordt bereikt door het minimaliseren van een geïntegreerde doelstellingsfunctie die de aanwezigheid van objecten en de binding van object-modifier paren stimuleert. Door middel van uitgebreide evaluaties tonen we aan dat FRAP afbeeldingen genereert met een aanzienlijk hogere prompt-afbeelding-alignering voor prompts uit complexe datasets, terwijl het een lagere gemiddelde latentie heeft in vergelijking met recente methoden voor latente code-optimalisatie, bijvoorbeeld 4 seconden sneller dan D&B op de COCO-Subject dataset. Bovendien tonen we door visuele vergelijkingen en evaluatie op de CLIP-IQA-Real metriek aan dat FRAP niet alleen de prompt-afbeelding-alignering verbetert, maar ook meer authentieke afbeeldingen genereert met realistische verschijningen. We onderzoeken ook de combinatie van FRAP met prompt herschrijving door een LLM om hun verslechterde prompt-afbeelding-alignering te herstellen, waarbij we verbeteringen waarnemen in zowel de prompt-afbeelding-alignering als de beeldkwaliteit.

English

Text-to-image (T2I) diffusion models have demonstrated impressive capabilities in generating high-quality images given a text prompt. However, ensuring the prompt-image alignment remains a considerable challenge, i.e., generating images that faithfully align with the prompt's semantics. Recent works attempt to improve the faithfulness by optimizing the latent code, which potentially could cause the latent code to go out-of-distribution and thus produce unrealistic images. In this paper, we propose FRAP, a simple, yet effective approach based on adaptively adjusting the per-token prompt weights to improve prompt-image alignment and authenticity of the generated images. We design an online algorithm to adaptively update each token's weight coefficient, which is achieved by minimizing a unified objective function that encourages object presence and the binding of object-modifier pairs. Through extensive evaluations, we show FRAP generates images with significantly higher prompt-image alignment to prompts from complex datasets, while having a lower average latency compared to recent latent code optimization methods, e.g., 4 seconds faster than D&B on the COCO-Subject dataset. Furthermore, through visual comparisons and evaluation on the CLIP-IQA-Real metric, we show that FRAP not only improves prompt-image alignment but also generates more authentic images with realistic appearances. We also explore combining FRAP with prompt rewriting LLM to recover their degraded prompt-image alignment, where we observe improvements in both prompt-image alignment and image quality.