Внимание как "сток" в диффузионных языковых моделях

Attention Sinks in Diffusion Language Models

October 17, 2025

Авторы: Maximo Eduardo Rulli, Simone Petruzzi, Edoardo Michielon, Fabrizio Silvestri, Simone Scardapane, Alessio Devoto

cs.AI

Аннотация

Маскированные диффузионные языковые модели (DLMs) недавно появились как перспективная альтернатива традиционным авторегрессивным моделям (ARMs). DLMs используют трансформерные энкодеры с двунаправленным вниманием, что позволяет параллельно генерировать токены, сохраняя при этом конкурентоспособную производительность. Хотя их эффективность и производительность были тщательно изучены, внутренние механизмы, управляющие DLMs, остаются в значительной степени неисследованными. В данной работе мы проводим эмпирический анализ паттернов внимания в DLMs, уделяя особое внимание феномену "поглощения внимания" (attention sinking), который ранее наблюдался в различных архитектурах на основе трансформеров. Наши результаты показывают, что DLMs также демонстрируют поглощение внимания, но с характерными особенностями. Во-первых, в отличие от ARMs, позиции поглощения в DLMs имеют тенденцию смещаться в процессе генерации, проявляя динамическое поведение. Во-вторых, хотя ARMs крайне чувствительны к удалению поглощений внимания, DLMs остаются устойчивыми: маскирование поглощений приводит лишь к незначительному ухудшению производительности. Эти результаты дают новые представления о внутренней работе диффузионных языковых моделей и подчеркивают фундаментальные различия в том, как они распределяют и используют внимание по сравнению с авторегрессивными моделями.

English

Masked Diffusion Language Models (DLMs) have recently emerged as a promising alternative to traditional Autoregressive Models (ARMs). DLMs employ transformer encoders with bidirectional attention, enabling parallel token generation while maintaining competitive performance. Although their efficiency and effectiveness have been extensively studied, the internal mechanisms that govern DLMs remain largely unexplored. In this work, we conduct an empirical analysis of DLM attention patterns, focusing on the attention sinking phenomenon, an effect previously observed in various transformer-based architectures. Our findings reveal that DLMs also exhibit attention sinks, but with distinct characteristics. First, unlike in ARMs, the sink positions in DLMs tend to shift throughout the generation process, displaying a dynamic behaviour. Second, while ARMs are highly sensitive to the removal of attention sinks, DLMs remain robust: masking sinks leads to only a minor degradation in performance. These results provide new insights into the inner workings of diffusion-based language models and highlight fundamental differences in how they allocate and utilize attention compared to autoregressive models.