FRAP: Верная и Реалистичная Генерация Текста в Изображение с Адаптивным Взвешиванием Подсказок

FRAP: Faithful and Realistic Text-to-Image Generation with Adaptive Prompt Weighting

August 21, 2024

Авторы: Liyao Jiang, Negar Hassanpour, Mohammad Salameh, Mohan Sai Singamsetti, Fengyu Sun, Wei Lu, Di Niu

cs.AI

Аннотация

Модели диффузии текста в изображение (T2I) продемонстрировали впечатляющие возможности в генерации изображений высокого качества по текстовому запросу. Однако обеспечение соответствия между запросом и изображением остается значительной проблемой, то есть создание изображений, которые верно соответствуют семантике запроса. Недавние работы пытаются улучшить верность, оптимизируя скрытый код, что потенциально может привести к выходу скрытого кода за пределы распределения и, следовательно, к созданию нереалистичных изображений. В данной статье мы предлагаем FRAP, простой, но эффективный подход, основанный на адаптивной настройке весов токенов запроса для улучшения соответствия запроса и изображения и подлинности сгенерированных изображений. Мы разрабатываем онлайн-алгоритм для адаптивного обновления коэффициента веса каждого токена, что достигается путем минимизации объединенной целевой функции, стимулирующей присутствие объекта и связывание пар объект-модификатор. Через обширные оценки мы показываем, что FRAP генерирует изображения с значительно более высоким соответствием запроса и изображения для запросов из сложных наборов данных, при этом имея более низкую среднюю задержку по сравнению с недавними методами оптимизации скрытого кода, например, на 4 секунды быстрее, чем D&B на наборе данных COCO-Subject. Кроме того, через визуальные сравнения и оценку по метрике CLIP-IQA-Real мы показываем, что FRAP не только улучшает соответствие запроса и изображения, но также генерирует более аутентичные изображения с реалистичным внешним видом. Мы также исследуем комбинирование FRAP с моделью LLM для переписывания запроса для восстановления их ухудшенного соответствия запроса и изображения, где мы наблюдаем улучшения как в соответствии запроса и изображения, так и в качестве изображения.

English

Text-to-image (T2I) diffusion models have demonstrated impressive capabilities in generating high-quality images given a text prompt. However, ensuring the prompt-image alignment remains a considerable challenge, i.e., generating images that faithfully align with the prompt's semantics. Recent works attempt to improve the faithfulness by optimizing the latent code, which potentially could cause the latent code to go out-of-distribution and thus produce unrealistic images. In this paper, we propose FRAP, a simple, yet effective approach based on adaptively adjusting the per-token prompt weights to improve prompt-image alignment and authenticity of the generated images. We design an online algorithm to adaptively update each token's weight coefficient, which is achieved by minimizing a unified objective function that encourages object presence and the binding of object-modifier pairs. Through extensive evaluations, we show FRAP generates images with significantly higher prompt-image alignment to prompts from complex datasets, while having a lower average latency compared to recent latent code optimization methods, e.g., 4 seconds faster than D&B on the COCO-Subject dataset. Furthermore, through visual comparisons and evaluation on the CLIP-IQA-Real metric, we show that FRAP not only improves prompt-image alignment but also generates more authentic images with realistic appearances. We also explore combining FRAP with prompt rewriting LLM to recover their degraded prompt-image alignment, where we observe improvements in both prompt-image alignment and image quality.