Aandachtsputten in Diffusie Taalmodellen

Attention Sinks in Diffusion Language Models

October 17, 2025

Auteurs: Maximo Eduardo Rulli, Simone Petruzzi, Edoardo Michielon, Fabrizio Silvestri, Simone Scardapane, Alessio Devoto

cs.AI

Samenvatting

Gemaskerde Diffusie Taalmodellen (DLMs) zijn recent naar voren gekomen als een veelbelovend alternatief voor traditionele Autoregressieve Modellen (ARMs). DLMs maken gebruik van transformer-encoders met bidirectionele aandacht, waardoor parallelle token-generatie mogelijk is terwijl ze competitieve prestaties behouden. Hoewel hun efficiëntie en effectiviteit uitgebreid zijn bestudeerd, blijven de interne mechanismen die DLMs sturen grotendeels onontgonnen. In dit werk voeren we een empirische analyse uit van DLM-aandachtspatronen, met een focus op het aandachtssink-fenomeen, een effect dat eerder is waargenomen in verschillende transformer-gebaseerde architecturen. Onze bevindingen onthullen dat DLMs ook aandachtssinks vertonen, maar met onderscheidende kenmerken. Ten eerste, in tegenstelling tot bij ARMs, hebben de sink-posities in DLMs de neiging te verschuiven gedurende het generatieproces, wat een dynamisch gedrag vertoont. Ten tweede, terwijl ARMs zeer gevoelig zijn voor het verwijderen van aandachtssinks, blijven DLMs robuust: het maskeren van sinks leidt slechts tot een geringe prestatievermindering. Deze resultaten bieden nieuwe inzichten in de interne werking van diffusie-gebaseerde taalmodellen en benadrukken fundamentele verschillen in hoe ze aandacht toewijzen en gebruiken in vergelijking met autoregressieve modellen.

English

Masked Diffusion Language Models (DLMs) have recently emerged as a promising alternative to traditional Autoregressive Models (ARMs). DLMs employ transformer encoders with bidirectional attention, enabling parallel token generation while maintaining competitive performance. Although their efficiency and effectiveness have been extensively studied, the internal mechanisms that govern DLMs remain largely unexplored. In this work, we conduct an empirical analysis of DLM attention patterns, focusing on the attention sinking phenomenon, an effect previously observed in various transformer-based architectures. Our findings reveal that DLMs also exhibit attention sinks, but with distinct characteristics. First, unlike in ARMs, the sink positions in DLMs tend to shift throughout the generation process, displaying a dynamic behaviour. Second, while ARMs are highly sensitive to the removal of attention sinks, DLMs remain robust: masking sinks leads to only a minor degradation in performance. These results provide new insights into the inner workings of diffusion-based language models and highlight fundamental differences in how they allocate and utilize attention compared to autoregressive models.