Le maschere possono distrarre: sulla comprensione del contesto nei modelli linguistici di diffusione

Masks Can Be Distracting: On Context Comprehension in Diffusion Language Models

November 26, 2025

Autori: Julianna Piskorz, Cristina Pinneri, Alvaro Correia, Motasem Alfarra, Risheek Garrepalli, Christos Louizos

cs.AI

Abstract

I modelli linguistici basati su diffusione con mascheramento (MDLM, Masked Diffusion Language Models) sono recentemente emersi come una promettente alternativa ai modelli linguistici autoregressivi (ARLM, Autoregressive Language Models), sfruttando un obiettivo di denoising che, in linea di principio, dovrebbe consentire un utilizzo del contesto più uniforme. In questo lavoro, esaminiamo le capacità di comprensione del contesto degli MDLM e identifichiamo due limitazioni chiave. In primo luogo, nonostante il loro obiettivo di addestramento più globale e il meccanismo di attenzione bidirezionale, similmente agli ARLM, gli MDLM mostrano un forte bias di località: le prestazioni sono altamente sensibili alla posizione delle informazioni rilevanti all'interno dell'input, favorendo il contesto locale rispetto a quello distante. In secondo luogo, dimostriamo che l'aggiunta di un numero elevato di token di maschera – necessari per la generazione – può degradare significativamente la comprensione del contesto. Attraverso ablazioni sistematiche, scopriamo che queste maschere agiscono come distrattori, riducendo la capacità del modello di elaborare le informazioni rilevanti. Per affrontare questo problema, introduciamo una funzione di loss indipendente dalle maschere che incoraggia le previsioni a rimanere invariate rispetto al numero di maschere aggiunte. Il fine-tuning con questo obiettivo mitiga sostanzialmente l'effetto distraente delle maschere, migliorando la robustezza degli MDLM. Nel complesso, i nostri risultati rivelano limitazioni critiche dell'attuale paradigma di addestramento degli MDLM e forniscono spunti pratici per costruire modelli linguistici basati sulla diffusione con una comprensione del contesto più solida.

English

Masked Diffusion Language Models (MDLMs) have recently emerged as a promising alternative to Autoregressive Language Models (ARLMs), leveraging a denoising objective that, in principle, should enable more uniform context utilisation. In this work, we examine the context comprehension abilities of MDLMs and uncover two key limitations. First, despite their more global training objective and bidirectional attention mechanism, similarly to ARLMS, MDLMs exhibit a strong locality bias: performance is highly sensitive to the position of relevant information within the input, favouring local over distant context. Second, we show that appending a large number of mask tokens--required for generation--can significantly degrade context comprehension. Through systematic ablations, we find that these masks act as distractors, reducing the model's ability to process relevant information. To address this, we introduce a mask-agnostic loss function that encourages predictions to remain invariant to the number of appended masks. Fine-tuning with this objective substantially mitigates the distracting effect of masks, improving robustness of MDLMs. Overall, our findings reveal critical limitations of the current MDLM training paradigm and provide actionable insights for building diffusion-based language models with stronger context comprehension.