FRAP : Génération fidèle et réaliste de texte vers image avec pondération adaptative de l'incitation

FRAP: Faithful and Realistic Text-to-Image Generation with Adaptive Prompt Weighting

August 21, 2024

Auteurs: Liyao Jiang, Negar Hassanpour, Mohammad Salameh, Mohan Sai Singamsetti, Fengyu Sun, Wei Lu, Di Niu

cs.AI

Résumé

Les modèles de diffusion texte-vers-image (T2I) ont démontré des capacités impressionnantes dans la génération d'images de haute qualité à partir d'une consigne textuelle. Cependant, garantir l'alignement entre la consigne et l'image reste un défi considérable, c'est-à-dire générer des images qui correspondent fidèlement à la sémantique de la consigne. Des travaux récents tentent d'améliorer cette fidélité en optimisant le code latent, ce qui pourrait potentiellement entraîner une sortie du code latent de la distribution et ainsi produire des images irréalistes. Dans cet article, nous proposons FRAP, une approche simple mais efficace basée sur l'ajustement adaptatif des poids de consigne par token pour améliorer l'alignement consigne-image et l'authenticité des images générées. Nous concevons un algorithme en ligne pour mettre à jour de manière adaptative le coefficient de poids de chaque token, ce qui est réalisé en minimisant une fonction objective unifiée qui favorise la présence d'objets et la liaison des paires objet-modificateur. À travers des évaluations approfondies, nous montrons que FRAP génère des images avec un alignement consigne-image significativement plus élevé par rapport aux consignes provenant de jeux de données complexes, tout en ayant une latence moyenne plus faible par rapport aux méthodes récentes d'optimisation du code latent, par exemple, 4 secondes plus rapide que D&B sur le jeu de données COCO-Subject. De plus, à travers des comparaisons visuelles et des évaluations sur la métrique CLIP-IQA-Real, nous montrons que FRAP améliore non seulement l'alignement consigne-image mais génère également des images plus authentiques avec des apparences réalistes. Nous explorons également la combinaison de FRAP avec la réécriture de consignes LLM pour récupérer leur alignement consigne-image dégradé, où nous observons des améliorations à la fois dans l'alignement consigne-image et la qualité de l'image.

English

Text-to-image (T2I) diffusion models have demonstrated impressive capabilities in generating high-quality images given a text prompt. However, ensuring the prompt-image alignment remains a considerable challenge, i.e., generating images that faithfully align with the prompt's semantics. Recent works attempt to improve the faithfulness by optimizing the latent code, which potentially could cause the latent code to go out-of-distribution and thus produce unrealistic images. In this paper, we propose FRAP, a simple, yet effective approach based on adaptively adjusting the per-token prompt weights to improve prompt-image alignment and authenticity of the generated images. We design an online algorithm to adaptively update each token's weight coefficient, which is achieved by minimizing a unified objective function that encourages object presence and the binding of object-modifier pairs. Through extensive evaluations, we show FRAP generates images with significantly higher prompt-image alignment to prompts from complex datasets, while having a lower average latency compared to recent latent code optimization methods, e.g., 4 seconds faster than D&B on the COCO-Subject dataset. Furthermore, through visual comparisons and evaluation on the CLIP-IQA-Real metric, we show that FRAP not only improves prompt-image alignment but also generates more authentic images with realistic appearances. We also explore combining FRAP with prompt rewriting LLM to recover their degraded prompt-image alignment, where we observe improvements in both prompt-image alignment and image quality.