Sumideros de Atención en Modelos de Lenguaje de Difusión

Attention Sinks in Diffusion Language Models

October 17, 2025

Autores: Maximo Eduardo Rulli, Simone Petruzzi, Edoardo Michielon, Fabrizio Silvestri, Simone Scardapane, Alessio Devoto

cs.AI

Resumen

Los Modelos de Lenguaje de Difusión Enmascarados (DLMs, por sus siglas en inglés) han surgido recientemente como una alternativa prometedora a los Modelos Autoregresivos (ARMs) tradicionales. Los DLMs emplean codificadores transformadores con atención bidireccional, lo que permite la generación paralela de tokens mientras mantienen un rendimiento competitivo. Aunque su eficiencia y efectividad han sido ampliamente estudiadas, los mecanismos internos que gobiernan los DLMs siguen siendo en gran parte desconocidos. En este trabajo, realizamos un análisis empírico de los patrones de atención en DLMs, centrándonos en el fenómeno de hundimiento de atención, un efecto previamente observado en diversas arquitecturas basadas en transformadores. Nuestros hallazgos revelan que los DLMs también exhiben hundimientos de atención, pero con características distintivas. En primer lugar, a diferencia de los ARMs, las posiciones de hundimiento en los DLMs tienden a desplazarse a lo largo del proceso de generación, mostrando un comportamiento dinámico. En segundo lugar, mientras que los ARMs son altamente sensibles a la eliminación de los hundimientos de atención, los DLMs se mantienen robustos: enmascarar los hundimientos conduce solo a una degradación menor en el rendimiento. Estos resultados proporcionan nuevas perspectivas sobre el funcionamiento interno de los modelos de lenguaje basados en difusión y destacan diferencias fundamentales en cómo asignan y utilizan la atención en comparación con los modelos autoregresivos.

English

Masked Diffusion Language Models (DLMs) have recently emerged as a promising alternative to traditional Autoregressive Models (ARMs). DLMs employ transformer encoders with bidirectional attention, enabling parallel token generation while maintaining competitive performance. Although their efficiency and effectiveness have been extensively studied, the internal mechanisms that govern DLMs remain largely unexplored. In this work, we conduct an empirical analysis of DLM attention patterns, focusing on the attention sinking phenomenon, an effect previously observed in various transformer-based architectures. Our findings reveal that DLMs also exhibit attention sinks, but with distinct characteristics. First, unlike in ARMs, the sink positions in DLMs tend to shift throughout the generation process, displaying a dynamic behaviour. Second, while ARMs are highly sensitive to the removal of attention sinks, DLMs remain robust: masking sinks leads to only a minor degradation in performance. These results provide new insights into the inner workings of diffusion-based language models and highlight fundamental differences in how they allocate and utilize attention compared to autoregressive models.