FRAP: Generazione di Immagini da Testo Fedele e Realistica con Ponderazione Adattiva dei Prompt

FRAP: Faithful and Realistic Text-to-Image Generation with Adaptive Prompt Weighting

August 21, 2024

Autori: Liyao Jiang, Negar Hassanpour, Mohammad Salameh, Mohan Sai Singamsetti, Fengyu Sun, Wei Lu, Di Niu

cs.AI

Abstract

I modelli di diffusione text-to-image (T2I) hanno dimostrato capacità impressionanti nella generazione di immagini di alta qualità a partire da un prompt testuale. Tuttavia, garantire l'allineamento tra prompt e immagine rimane una sfida considerevole, ovvero generare immagini che rispecchino fedelmente la semantica del prompt. Recenti lavori tentano di migliorare la fedeltà ottimizzando il codice latente, il che potrebbe potenzialmente portare il codice latente fuori dalla distribuzione e quindi produrre immagini irrealistiche. In questo articolo, proponiamo FRAP, un approccio semplice ma efficace basato sulla regolazione adattiva dei pesi per ogni token del prompt per migliorare l'allineamento prompt-immagine e l'autenticità delle immagini generate. Progettiamo un algoritmo online per aggiornare adattivamente il coefficiente di peso di ciascun token, ottenuto minimizzando una funzione obiettivo unificata che incoraggia la presenza degli oggetti e il legame tra coppie oggetto-modificatore. Attraverso valutazioni estensive, dimostriamo che FRAP genera immagini con un allineamento prompt-immagine significativamente superiore rispetto a prompt provenienti da dataset complessi, pur avendo una latenza media inferiore rispetto ai recenti metodi di ottimizzazione del codice latente, ad esempio 4 secondi più veloce di D&B sul dataset COCO-Subject. Inoltre, attraverso confronti visivi e valutazioni sulla metrica CLIP-IQA-Real, mostriamo che FRAP non solo migliora l'allineamento prompt-immagine, ma genera anche immagini più autentiche con un aspetto realistico. Esploriamo inoltre la combinazione di FRAP con un LLM di riscrittura del prompt per recuperare il loro allineamento prompt-immagine degradato, osservando miglioramenti sia nell'allineamento prompt-immagine che nella qualità dell'immagine.

English

Text-to-image (T2I) diffusion models have demonstrated impressive capabilities in generating high-quality images given a text prompt. However, ensuring the prompt-image alignment remains a considerable challenge, i.e., generating images that faithfully align with the prompt's semantics. Recent works attempt to improve the faithfulness by optimizing the latent code, which potentially could cause the latent code to go out-of-distribution and thus produce unrealistic images. In this paper, we propose FRAP, a simple, yet effective approach based on adaptively adjusting the per-token prompt weights to improve prompt-image alignment and authenticity of the generated images. We design an online algorithm to adaptively update each token's weight coefficient, which is achieved by minimizing a unified objective function that encourages object presence and the binding of object-modifier pairs. Through extensive evaluations, we show FRAP generates images with significantly higher prompt-image alignment to prompts from complex datasets, while having a lower average latency compared to recent latent code optimization methods, e.g., 4 seconds faster than D&B on the COCO-Subject dataset. Furthermore, through visual comparisons and evaluation on the CLIP-IQA-Real metric, we show that FRAP not only improves prompt-image alignment but also generates more authentic images with realistic appearances. We also explore combining FRAP with prompt rewriting LLM to recover their degraded prompt-image alignment, where we observe improvements in both prompt-image alignment and image quality.