Маски могут отвлекать: о понимании контекста в диффузионных языковых моделях

Masks Can Be Distracting: On Context Comprehension in Diffusion Language Models

November 26, 2025

Авторы: Julianna Piskorz, Cristina Pinneri, Alvaro Correia, Motasem Alfarra, Risheek Garrepalli, Christos Louizos

cs.AI

Аннотация

Маскированные диффузионные языковые модели (MDLM) недавно появились как перспективная альтернатива авторегрессионным языковым моделям (ARLM), используя деноизирующий принцип, который, в теории, должен обеспечивать более равномерное использование контекста. В данной работе мы исследуем способности MDLM к пониманию контекста и выявляем два ключевых ограничения. Во-первых, несмотря на более глобальную цель обучения и двунаправленный механизм внимания, подобно ARLM, MDLM демонстрируют сильную склонность к локальности: производительность сильно зависит от положения релевантной информации во входных данных, отдавая предпочтение локальному контексту перед удаленным. Во-вторых, мы показываем, что добавление большого количества маскирующих токенов, необходимых для генерации, может значительно ухудшить понимание контекста. С помощью систематических абляций мы обнаруживаем, что эти маски действуют как отвлекающие факторы, снижая способность модели обрабатывать релевантную информацию. Для решения этой проблемы мы представляем функцию потерь, инвариантную к маскам, которая побуждает прогнозы оставаться неизменными независимо от количества добавленных масок. Дообучение с этой целью существенно смягчает отвлекающий эффект масок, повышая устойчивость MDLM. В целом, наши результаты выявляют критические ограничения текущей парадигмы обучения MDLM и предоставляют практические рекомендации для создания диффузионных языковых моделей с более сильным пониманием контекста.

English

Masked Diffusion Language Models (MDLMs) have recently emerged as a promising alternative to Autoregressive Language Models (ARLMs), leveraging a denoising objective that, in principle, should enable more uniform context utilisation. In this work, we examine the context comprehension abilities of MDLMs and uncover two key limitations. First, despite their more global training objective and bidirectional attention mechanism, similarly to ARLMS, MDLMs exhibit a strong locality bias: performance is highly sensitive to the position of relevant information within the input, favouring local over distant context. Second, we show that appending a large number of mask tokens--required for generation--can significantly degrade context comprehension. Through systematic ablations, we find that these masks act as distractors, reducing the model's ability to process relevant information. To address this, we introduce a mask-agnostic loss function that encourages predictions to remain invariant to the number of appended masks. Fine-tuning with this objective substantially mitigates the distracting effect of masks, improving robustness of MDLMs. Overall, our findings reveal critical limitations of the current MDLM training paradigm and provide actionable insights for building diffusion-based language models with stronger context comprehension.