UNCAGE: Guida all'Attenzione Contrastiva per Trasformatori Generativi con Maschera nella Generazione di Immagini da Testo

UNCAGE: Contrastive Attention Guidance for Masked Generative Transformers in Text-to-Image Generation

August 7, 2025

Autori: Wonjun Kang, Byeongkeun Ahn, Minjae Lee, Kevin Galim, Seunghyuk Oh, Hyung Il Koo, Nam Ik Cho

cs.AI

Abstract

La generazione da testo a immagine (Text-to-Image, T2I) è stata ampiamente studiata utilizzando modelli di diffusione (Diffusion Models) e modelli autoregressivi (Autoregressive Models). Recentemente, i Transformer generativi mascherati (Masked Generative Transformers) hanno attirato l'attenzione come alternativa ai modelli autoregressivi per superare le limitazioni intrinseche dell'attenzione causale e della decodifica autoregressiva, grazie all'attenzione bidirezionale e alla decodifica parallela, consentendo una generazione di immagini efficiente e di alta qualità. Tuttavia, la generazione composizionale T2I rimane una sfida, poiché anche i modelli di diffusione più avanzati spesso non riescono a legare accuratamente gli attributi e a ottenere un allineamento corretto tra testo e immagine. Sebbene i modelli di diffusione siano stati ampiamente studiati per questo problema, i Transformer generativi mascherati presentano limitazioni simili ma non sono stati esplorati in questo contesto. Per affrontare questa questione, proponiamo Unmasking with Contrastive Attention Guidance (UNCAGE), un nuovo metodo senza addestramento che migliora la fedeltà composizionale sfruttando le mappe di attenzione per dare priorità allo smascheramento dei token che rappresentano chiaramente oggetti individuali. UNCAGE migliora costantemente le prestazioni sia nelle valutazioni quantitative che qualitative su più benchmark e metriche, con un sovraccarico di inferenza trascurabile. Il nostro codice è disponibile all'indirizzo https://github.com/furiosa-ai/uncage.

English

Text-to-image (T2I) generation has been actively studied using Diffusion Models and Autoregressive Models. Recently, Masked Generative Transformers have gained attention as an alternative to Autoregressive Models to overcome the inherent limitations of causal attention and autoregressive decoding through bidirectional attention and parallel decoding, enabling efficient and high-quality image generation. However, compositional T2I generation remains challenging, as even state-of-the-art Diffusion Models often fail to accurately bind attributes and achieve proper text-image alignment. While Diffusion Models have been extensively studied for this issue, Masked Generative Transformers exhibit similar limitations but have not been explored in this context. To address this, we propose Unmasking with Contrastive Attention Guidance (UNCAGE), a novel training-free method that improves compositional fidelity by leveraging attention maps to prioritize the unmasking of tokens that clearly represent individual objects. UNCAGE consistently improves performance in both quantitative and qualitative evaluations across multiple benchmarks and metrics, with negligible inference overhead. Our code is available at https://github.com/furiosa-ai/uncage.