UNCAGE: Kontrastive Aufmerksamkeitssteuerung für maskierte generative Transformer in der Text-zu-Bild-Generierung

UNCAGE: Contrastive Attention Guidance for Masked Generative Transformers in Text-to-Image Generation

August 7, 2025

papers.authors: Wonjun Kang, Byeongkeun Ahn, Minjae Lee, Kevin Galim, Seunghyuk Oh, Hyung Il Koo, Nam Ik Cho

cs.AI

papers.abstract

Text-to-Image (T2I)-Generierung wurde intensiv mit Diffusionsmodellen und autoregressiven Modellen untersucht. Kürzlich haben Masked Generative Transformers als Alternative zu autoregressiven Modellen Aufmerksamkeit erregt, da sie die inhärenten Einschränkungen der kausalen Aufmerksamkeit und des autoregressiven Decodings durch bidirektionale Aufmerksamkeit und paralleles Decoding überwinden, was eine effiziente und hochwertige Bildgenerierung ermöglicht. Dennoch bleibt die kompositionelle T2I-Generierung eine Herausforderung, da selbst state-of-the-art Diffusionsmodelle oft scheitern, Attribute präzise zu binden und eine angemessene Text-Bild-Ausrichtung zu erreichen. Während Diffusionsmodelle in diesem Zusammenhang umfassend untersucht wurden, zeigen Masked Generative Transformers ähnliche Einschränkungen, wurden jedoch in diesem Kontext noch nicht erforscht. Um dies zu adressieren, schlagen wir Unmasking with Contrastive Attention Guidance (UNCAGE) vor, eine neuartige trainingsfreie Methode, die die kompositionelle Treue verbessert, indem sie Aufmerksamkeitskarten nutzt, um die Entmaskung von Tokens zu priorisieren, die einzelne Objekte klar repräsentieren. UNCAGE verbessert durchgängig die Leistung in quantitativen und qualitativen Bewertungen über mehrere Benchmarks und Metrik hinweg, mit vernachlässigbarem Inferenz-Overhead. Unser Code ist verfügbar unter https://github.com/furiosa-ai/uncage.

English

Text-to-image (T2I) generation has been actively studied using Diffusion Models and Autoregressive Models. Recently, Masked Generative Transformers have gained attention as an alternative to Autoregressive Models to overcome the inherent limitations of causal attention and autoregressive decoding through bidirectional attention and parallel decoding, enabling efficient and high-quality image generation. However, compositional T2I generation remains challenging, as even state-of-the-art Diffusion Models often fail to accurately bind attributes and achieve proper text-image alignment. While Diffusion Models have been extensively studied for this issue, Masked Generative Transformers exhibit similar limitations but have not been explored in this context. To address this, we propose Unmasking with Contrastive Attention Guidance (UNCAGE), a novel training-free method that improves compositional fidelity by leveraging attention maps to prioritize the unmasking of tokens that clearly represent individual objects. UNCAGE consistently improves performance in both quantitative and qualitative evaluations across multiple benchmarks and metrics, with negligible inference overhead. Our code is available at https://github.com/furiosa-ai/uncage.