FRAP: Geração de Texto para Imagem Fiel e Realista com Ponderação Adaptativa de Prompt

FRAP: Faithful and Realistic Text-to-Image Generation with Adaptive Prompt Weighting

August 21, 2024

Autores: Liyao Jiang, Negar Hassanpour, Mohammad Salameh, Mohan Sai Singamsetti, Fengyu Sun, Wei Lu, Di Niu

cs.AI

Resumo

Os modelos de difusão texto-imagem (T2I) têm demonstrado capacidades impressionantes na geração de imagens de alta qualidade a partir de um texto de entrada. No entanto, garantir o alinhamento entre o texto e a imagem continua a ser um desafio considerável, ou seja, gerar imagens que se alinhem fielmente com a semântica do texto de entrada. Trabalhos recentes tentam melhorar a fidelidade otimizando o código latente, o que potencialmente poderia fazer com que o código latente saísse da distribuição e, assim, produzisse imagens irreais. Neste artigo, propomos o FRAP, uma abordagem simples, porém eficaz, baseada no ajuste adaptativo dos pesos do texto por token para melhorar o alinhamento entre o texto e a imagem e a autenticidade das imagens geradas. Projetamos um algoritmo online para atualizar adaptativamente o coeficiente de peso de cada token, o que é alcançado minimizando uma função objetivo unificada que incentiva a presença de objetos e a ligação de pares objeto-modificador. Através de avaliações extensivas, mostramos que o FRAP gera imagens com um alinhamento significativamente maior com os textos de entrada de conjuntos de dados complexos, enquanto tem uma latência média menor em comparação com os métodos recentes de otimização de código latente, por exemplo, 4 segundos mais rápido que o D&B no conjunto de dados COCO-Subject. Além disso, por meio de comparações visuais e avaliações na métrica CLIP-IQA-Real, mostramos que o FRAP não só melhora o alinhamento entre o texto e a imagem, mas também gera imagens mais autênticas com aparências realistas. Também exploramos a combinação do FRAP com a LLM de reformulação do texto para recuperar o alinhamento degradado entre o texto e a imagem, onde observamos melhorias tanto no alinhamento entre o texto e a imagem quanto na qualidade da imagem.

English

Text-to-image (T2I) diffusion models have demonstrated impressive capabilities in generating high-quality images given a text prompt. However, ensuring the prompt-image alignment remains a considerable challenge, i.e., generating images that faithfully align with the prompt's semantics. Recent works attempt to improve the faithfulness by optimizing the latent code, which potentially could cause the latent code to go out-of-distribution and thus produce unrealistic images. In this paper, we propose FRAP, a simple, yet effective approach based on adaptively adjusting the per-token prompt weights to improve prompt-image alignment and authenticity of the generated images. We design an online algorithm to adaptively update each token's weight coefficient, which is achieved by minimizing a unified objective function that encourages object presence and the binding of object-modifier pairs. Through extensive evaluations, we show FRAP generates images with significantly higher prompt-image alignment to prompts from complex datasets, while having a lower average latency compared to recent latent code optimization methods, e.g., 4 seconds faster than D&B on the COCO-Subject dataset. Furthermore, through visual comparisons and evaluation on the CLIP-IQA-Real metric, we show that FRAP not only improves prompt-image alignment but also generates more authentic images with realistic appearances. We also explore combining FRAP with prompt rewriting LLM to recover their degraded prompt-image alignment, where we observe improvements in both prompt-image alignment and image quality.