UNCAGE: Контрастное управление вниманием для маскированных генеративных трансформаторов в генерации изображений по тексту

UNCAGE: Contrastive Attention Guidance for Masked Generative Transformers in Text-to-Image Generation

August 7, 2025

Авторы: Wonjun Kang, Byeongkeun Ahn, Minjae Lee, Kevin Galim, Seunghyuk Oh, Hyung Il Koo, Nam Ik Cho

cs.AI

Аннотация

Генерация изображений по тексту (Text-to-Image, T2I) активно изучается с использованием диффузионных моделей и авторегрессивных моделей. Недавно маскированные генеративные трансформеры привлекли внимание как альтернатива авторегрессивным моделям, преодолевая присущие ограничения причинного внимания и авторегрессивного декодирования за счет двунаправленного внимания и параллельного декодирования, что позволяет эффективно и качественно генерировать изображения. Однако композиционная генерация T2I остается сложной задачей, поскольку даже современные диффузионные модели часто не могут точно связывать атрибуты и достигать правильного соответствия текста и изображения. Хотя диффузионные модели были тщательно изучены в этом контексте, маскированные генеративные трансформеры демонстрируют схожие ограничения, но не были исследованы в этой области. Для решения этой проблемы мы предлагаем метод Unmasking with Contrastive Attention Guidance (UNCAGE) — новый подход, не требующий обучения, который улучшает композиционную точность, используя карты внимания для приоритетного раскрытия токенов, четко представляющих отдельные объекты. UNCAGE стабильно улучшает результаты как в количественных, так и в качественных оценках на множестве бенчмарков и метрик, с минимальными накладными расходами на вывод. Наш код доступен по адресу https://github.com/furiosa-ai/uncage.

English

Text-to-image (T2I) generation has been actively studied using Diffusion Models and Autoregressive Models. Recently, Masked Generative Transformers have gained attention as an alternative to Autoregressive Models to overcome the inherent limitations of causal attention and autoregressive decoding through bidirectional attention and parallel decoding, enabling efficient and high-quality image generation. However, compositional T2I generation remains challenging, as even state-of-the-art Diffusion Models often fail to accurately bind attributes and achieve proper text-image alignment. While Diffusion Models have been extensively studied for this issue, Masked Generative Transformers exhibit similar limitations but have not been explored in this context. To address this, we propose Unmasking with Contrastive Attention Guidance (UNCAGE), a novel training-free method that improves compositional fidelity by leveraging attention maps to prioritize the unmasking of tokens that clearly represent individual objects. UNCAGE consistently improves performance in both quantitative and qualitative evaluations across multiple benchmarks and metrics, with negligible inference overhead. Our code is available at https://github.com/furiosa-ai/uncage.