UNCAGE: Contrastieve Aandachtsturing voor Gemaskeerde Generatieve Transformers in Tekst-naar-Beeld Generatie

UNCAGE: Contrastive Attention Guidance for Masked Generative Transformers in Text-to-Image Generation

August 7, 2025

Auteurs: Wonjun Kang, Byeongkeun Ahn, Minjae Lee, Kevin Galim, Seunghyuk Oh, Hyung Il Koo, Nam Ik Cho

cs.AI

Samenvatting

Text-to-image (T2I)-generatie is actief bestudeerd met behulp van Diffusion Models en Autoregressive Models. Onlangs hebben Masked Generative Transformers aandacht gekregen als een alternatief voor Autoregressive Models om de inherente beperkingen van causale aandacht en autoregressieve decodering te overwinnen door middel van bidirectionele aandacht en parallelle decodering, wat efficiënte en hoogwaardige beeldgeneratie mogelijk maakt. Compositionele T2I-generatie blijft echter een uitdaging, aangezien zelfs state-of-the-art Diffusion Models vaak niet in staat zijn om attributen nauwkeurig te binden en een juiste tekst-beeldafstemming te bereiken. Hoewel Diffusion Models uitgebreid zijn bestudeerd voor dit probleem, vertonen Masked Generative Transformers vergelijkbare beperkingen, maar zijn ze in deze context nog niet onderzocht. Om dit aan te pakken, stellen we Unmasking with Contrastive Attention Guidance (UNCAGE) voor, een nieuwe trainingsvrije methode die de compositionele trouw verbetert door aandachtkaarten te gebruiken om het ontmaskeren van tokens die individuele objecten duidelijk vertegenwoordigen te prioriteren. UNCAGE verbetert consistent de prestaties in zowel kwantitatieve als kwalitatieve evaluaties over meerdere benchmarks en metrieken, met verwaarloosbare inferentie-overhead. Onze code is beschikbaar op https://github.com/furiosa-ai/uncage.

English

Text-to-image (T2I) generation has been actively studied using Diffusion Models and Autoregressive Models. Recently, Masked Generative Transformers have gained attention as an alternative to Autoregressive Models to overcome the inherent limitations of causal attention and autoregressive decoding through bidirectional attention and parallel decoding, enabling efficient and high-quality image generation. However, compositional T2I generation remains challenging, as even state-of-the-art Diffusion Models often fail to accurately bind attributes and achieve proper text-image alignment. While Diffusion Models have been extensively studied for this issue, Masked Generative Transformers exhibit similar limitations but have not been explored in this context. To address this, we propose Unmasking with Contrastive Attention Guidance (UNCAGE), a novel training-free method that improves compositional fidelity by leveraging attention maps to prioritize the unmasking of tokens that clearly represent individual objects. UNCAGE consistently improves performance in both quantitative and qualitative evaluations across multiple benchmarks and metrics, with negligible inference overhead. Our code is available at https://github.com/furiosa-ai/uncage.