UNCAGE : Guidance par Attention Contrastive pour les Transformers Génératifs Masqués dans la Génération d'Images à partir de Texte

UNCAGE: Contrastive Attention Guidance for Masked Generative Transformers in Text-to-Image Generation

August 7, 2025

papers.authors: Wonjun Kang, Byeongkeun Ahn, Minjae Lee, Kevin Galim, Seunghyuk Oh, Hyung Il Koo, Nam Ik Cho

cs.AI

papers.abstract

La génération texte-image (T2I) a été activement étudiée à l'aide de modèles de diffusion et de modèles autorégressifs. Récemment, les Transformers Génératifs Masqués ont suscité l'intérêt comme alternative aux modèles autorégressifs pour surmonter les limitations inhérentes à l'attention causale et au décodage autorégressif, grâce à une attention bidirectionnelle et un décodage parallèle, permettant une génération d'images efficace et de haute qualité. Cependant, la génération compositionnelle T2I reste un défi, car même les modèles de diffusion les plus avancés échouent souvent à lier précisément les attributs et à obtenir un alignement texte-image adéquat. Bien que les modèles de diffusion aient été largement étudiés pour ce problème, les Transformers Génératifs Masqués présentent des limitations similaires mais n'ont pas été explorés dans ce contexte. Pour y remédier, nous proposons Unmasking with Contrastive Attention Guidance (UNCAGE), une nouvelle méthode sans apprentissage qui améliore la fidélité compositionnelle en exploitant les cartes d'attention pour prioriser le démasquage des tokens qui représentent clairement des objets individuels. UNCAGE améliore systématiquement les performances dans les évaluations quantitatives et qualitatives sur plusieurs benchmarks et métriques, avec une surcharge d'inférence négligeable. Notre code est disponible à l'adresse https://github.com/furiosa-ai/uncage.

English

Text-to-image (T2I) generation has been actively studied using Diffusion Models and Autoregressive Models. Recently, Masked Generative Transformers have gained attention as an alternative to Autoregressive Models to overcome the inherent limitations of causal attention and autoregressive decoding through bidirectional attention and parallel decoding, enabling efficient and high-quality image generation. However, compositional T2I generation remains challenging, as even state-of-the-art Diffusion Models often fail to accurately bind attributes and achieve proper text-image alignment. While Diffusion Models have been extensively studied for this issue, Masked Generative Transformers exhibit similar limitations but have not been explored in this context. To address this, we propose Unmasking with Contrastive Attention Guidance (UNCAGE), a novel training-free method that improves compositional fidelity by leveraging attention maps to prioritize the unmasking of tokens that clearly represent individual objects. UNCAGE consistently improves performance in both quantitative and qualitative evaluations across multiple benchmarks and metrics, with negligible inference overhead. Our code is available at https://github.com/furiosa-ai/uncage.