Masken können ablenken: Über Kontextverständnis in Diffusion Language Models
Masks Can Be Distracting: On Context Comprehension in Diffusion Language Models
November 26, 2025
papers.authors: Julianna Piskorz, Cristina Pinneri, Alvaro Correia, Motasem Alfarra, Risheek Garrepalli, Christos Louizos
cs.AI
papers.abstract
Masked Diffusion Language Models (MDLMs) haben sich kürzlich als vielversprechende Alternative zu autoregressiven Sprachmodellen (ARLMs) etabliert, indem sie ein Denoising-Ziel nutzen, das prinzipiell eine gleichmäßigere Kontextnutzung ermöglichen sollte. In dieser Arbeit untersuchen wir die Kontextverständnisfähigkeiten von MDLMs und decken zwei zentrale Einschränkungen auf. Erstens zeigen MDLMs trotz ihres globaleren Trainingsziels und bidirektionalen Aufmerksamkeitsmechanismus, ähnlich wie ARLMs, eine starke Lokalitätsverzerrung: Die Leistung ist stark von der Position relevanter Informationen innerhalb der Eingabe abhängig und begünstigt lokalen gegenüber entferntem Kontext. Zweitens zeigen wir, dass das Anhängen einer großen Anzahl von Mask-Tokens – die für die Generierung erforderlich sind – das Kontextverständnis erheblich beeinträchtigen kann. Durch systematische Ablationen finden wir heraus, dass diese Masken als Ablenkung wirken und die Fähigkeit des Modells reduzieren, relevante Informationen zu verarbeiten. Um dies zu adressieren, führen wir eine maskenunabhängige Verlustfunktion ein, die Vorhersagen dazu anhält, invariant gegenüber der Anzahl angehängter Masken zu bleiben. Fine-Tuning mit diesem Ziel mildert den ablenkenden Effekt der Masken erheblich und verbessert die Robustheit von MDLMs. Insgesamt zeigen unsere Ergebnisse kritische Grenzen des aktuellen MDLM-Trainingsparadigmas auf und liefern umsetzbare Erkenntnisse für den Aufbau diffusionsbasierter Sprachmodelle mit stärkerem Kontextverständnis.
English
Masked Diffusion Language Models (MDLMs) have recently emerged as a promising alternative to Autoregressive Language Models (ARLMs), leveraging a denoising objective that, in principle, should enable more uniform context utilisation. In this work, we examine the context comprehension abilities of MDLMs and uncover two key limitations. First, despite their more global training objective and bidirectional attention mechanism, similarly to ARLMS, MDLMs exhibit a strong locality bias: performance is highly sensitive to the position of relevant information within the input, favouring local over distant context. Second, we show that appending a large number of mask tokens--required for generation--can significantly degrade context comprehension. Through systematic ablations, we find that these masks act as distractors, reducing the model's ability to process relevant information. To address this, we introduce a mask-agnostic loss function that encourages predictions to remain invariant to the number of appended masks. Fine-tuning with this objective substantially mitigates the distracting effect of masks, improving robustness of MDLMs. Overall, our findings reveal critical limitations of the current MDLM training paradigm and provide actionable insights for building diffusion-based language models with stronger context comprehension.