Maskers Kunnen Afleiden: Over Contextbegrip in Diffusie Taalmodelen
Masks Can Be Distracting: On Context Comprehension in Diffusion Language Models
November 26, 2025
Auteurs: Julianna Piskorz, Cristina Pinneri, Alvaro Correia, Motasem Alfarra, Risheek Garrepalli, Christos Louizos
cs.AI
Samenvatting
Gemaskerde diffusie-taalmmodellen (MDLM's) zijn recent naar voren gekomen als een veelbelovend alternatief voor autoregressieve taalmmodellen (ARLM's). Zij maken gebruik van een denoiseringsdoelstelling die in principe een gelijkmatigere gebruik van context zou moeten mogelijk maken. In dit werk onderzoeken we het contextbegrip van MDLM's en leggen we twee belangrijke beperkingen bloot. Ten eerste vertonen MDLM's, ondanks hun meer globale trainingsdoelstelling en bidirectioneel aandachtmechanisme, net als ARLM's een sterke lokaliteitsvooringenomenheid: de prestaties zijn zeer gevoelig voor de positie van relevante informatie binnen de invoer, waarbij lokale context de voorkeur geniet boven verre context. Ten tweede tonen we aan dat het toevoegen van een groot aantal maskertokens—die nodig zijn voor generatie—het contextbegrip aanzienlijk kan verslechteren. Door middel van systematische ablatiestudies constateren we dat deze maskers fungeren als afleiders, wat het vermogen van het model om relevante informatie te verwerken vermindert. Om dit aan te pakken, introduceren we een masker-agnostische verliesfunctie die voorspellingen aanmoedigt invariant te blijven voor het aantal toegevoegde maskers. Fine-tuning met dit doel vermindert het afleidende effect van maskers aanzienlijk en verbetert de robuustheid van MDLM's. Over het geheel genomen onthullen onze bevindingen kritieke beperkingen van het huidige MDLM-trainingsparadigma en bieden ze bruikbare inzichten voor het bouwen van diffusiegebaseerde taalmmodellen met een sterker contextbegrip.
English
Masked Diffusion Language Models (MDLMs) have recently emerged as a promising alternative to Autoregressive Language Models (ARLMs), leveraging a denoising objective that, in principle, should enable more uniform context utilisation. In this work, we examine the context comprehension abilities of MDLMs and uncover two key limitations. First, despite their more global training objective and bidirectional attention mechanism, similarly to ARLMS, MDLMs exhibit a strong locality bias: performance is highly sensitive to the position of relevant information within the input, favouring local over distant context. Second, we show that appending a large number of mask tokens--required for generation--can significantly degrade context comprehension. Through systematic ablations, we find that these masks act as distractors, reducing the model's ability to process relevant information. To address this, we introduce a mask-agnostic loss function that encourages predictions to remain invariant to the number of appended masks. Fine-tuning with this objective substantially mitigates the distracting effect of masks, improving robustness of MDLMs. Overall, our findings reveal critical limitations of the current MDLM training paradigm and provide actionable insights for building diffusion-based language models with stronger context comprehension.