UNCAGE: Guía de Atención Contrastiva para Transformadores Generativos Enmascarados en la Generación de Texto a Imagen

UNCAGE: Contrastive Attention Guidance for Masked Generative Transformers in Text-to-Image Generation

August 7, 2025

Autores: Wonjun Kang, Byeongkeun Ahn, Minjae Lee, Kevin Galim, Seunghyuk Oh, Hyung Il Koo, Nam Ik Cho

cs.AI

Resumen

La generación de texto a imagen (T2I) ha sido ampliamente estudiada utilizando Modelos de Difusión y Modelos Autoregresivos. Recientemente, los Transformadores Generativos Enmascarados han ganado atención como una alternativa a los Modelos Autoregresivos para superar las limitaciones inherentes de la atención causal y la decodificación autoregresiva mediante la atención bidireccional y la decodificación paralela, permitiendo una generación de imágenes eficiente y de alta calidad. Sin embargo, la generación composicional de T2I sigue siendo un desafío, ya que incluso los Modelos de Difusión más avanzados a menudo fallan en vincular con precisión los atributos y lograr una alineación adecuada entre el texto y la imagen. Aunque los Modelos de Difusión han sido extensamente estudiados para este problema, los Transformadores Generativos Enmascarados exhiben limitaciones similares pero no han sido explorados en este contexto. Para abordar esto, proponemos Unmasking with Contrastive Attention Guidance (UNCAGE), un método novedoso que no requiere entrenamiento y que mejora la fidelidad composicional al aprovechar los mapas de atención para priorizar el desenmascaramiento de tokens que representan claramente objetos individuales. UNCAGE mejora consistentemente el rendimiento tanto en evaluaciones cuantitativas como cualitativas en múltiples benchmarks y métricas, con un sobrecosto de inferencia insignificante. Nuestro código está disponible en https://github.com/furiosa-ai/uncage.

English

Text-to-image (T2I) generation has been actively studied using Diffusion Models and Autoregressive Models. Recently, Masked Generative Transformers have gained attention as an alternative to Autoregressive Models to overcome the inherent limitations of causal attention and autoregressive decoding through bidirectional attention and parallel decoding, enabling efficient and high-quality image generation. However, compositional T2I generation remains challenging, as even state-of-the-art Diffusion Models often fail to accurately bind attributes and achieve proper text-image alignment. While Diffusion Models have been extensively studied for this issue, Masked Generative Transformers exhibit similar limitations but have not been explored in this context. To address this, we propose Unmasking with Contrastive Attention Guidance (UNCAGE), a novel training-free method that improves compositional fidelity by leveraging attention maps to prioritize the unmasking of tokens that clearly represent individual objects. UNCAGE consistently improves performance in both quantitative and qualitative evaluations across multiple benchmarks and metrics, with negligible inference overhead. Our code is available at https://github.com/furiosa-ai/uncage.