Pozzi di Attenzione nei Modelli Linguistici di Diffusione

Attention Sinks in Diffusion Language Models

October 17, 2025

Autori: Maximo Eduardo Rulli, Simone Petruzzi, Edoardo Michielon, Fabrizio Silvestri, Simone Scardapane, Alessio Devoto

cs.AI

Abstract

I Modelli Linguistici a Diffusione Mascherata (DLMs) sono recentemente emersi come una promettente alternativa ai tradizionali Modelli Autoregressivi (ARMs). I DLMs impiegano encoder basati su trasformatori con attenzione bidirezionale, consentendo la generazione parallela di token pur mantenendo prestazioni competitive. Sebbene la loro efficienza ed efficacia siano state ampiamente studiate, i meccanismi interni che governano i DLMs rimangono in gran parte inesplorati. In questo lavoro, conduciamo un'analisi empirica dei modelli di attenzione nei DLMs, concentrandoci sul fenomeno dell'"attenzione sinking", un effetto precedentemente osservato in varie architetture basate su trasformatori. I nostri risultati rivelano che anche i DLMs presentano "attenzione sinking", ma con caratteristiche distinte. In primo luogo, a differenza degli ARMs, le posizioni dei sink nei DLMs tendono a spostarsi durante il processo di generazione, mostrando un comportamento dinamico. In secondo luogo, mentre gli ARMs sono altamente sensibili alla rimozione dei sink di attenzione, i DLMs rimangono robusti: mascherare i sink comporta solo un lieve degrado delle prestazioni. Questi risultati forniscono nuove intuizioni sul funzionamento interno dei modelli linguistici basati sulla diffusione e evidenziano differenze fondamentali nel modo in cui allocano e utilizzano l'attenzione rispetto ai modelli autoregessivi.

English

Masked Diffusion Language Models (DLMs) have recently emerged as a promising alternative to traditional Autoregressive Models (ARMs). DLMs employ transformer encoders with bidirectional attention, enabling parallel token generation while maintaining competitive performance. Although their efficiency and effectiveness have been extensively studied, the internal mechanisms that govern DLMs remain largely unexplored. In this work, we conduct an empirical analysis of DLM attention patterns, focusing on the attention sinking phenomenon, an effect previously observed in various transformer-based architectures. Our findings reveal that DLMs also exhibit attention sinks, but with distinct characteristics. First, unlike in ARMs, the sink positions in DLMs tend to shift throughout the generation process, displaying a dynamic behaviour. Second, while ARMs are highly sensitive to the removal of attention sinks, DLMs remain robust: masking sinks leads to only a minor degradation in performance. These results provide new insights into the inner workings of diffusion-based language models and highlight fundamental differences in how they allocate and utilize attention compared to autoregressive models.