マスクは注意を散漫させる：拡散言語モデルにおける文脈理解について

Masks Can Be Distracting: On Context Comprehension in Diffusion Language Models

November 26, 2025

著者: Julianna Piskorz, Cristina Pinneri, Alvaro Correia, Motasem Alfarra, Risheek Garrepalli, Christos Louizos

cs.AI

要旨

Masked Diffusion Language Model（MDLM）は、近年、Autoregressive Language Model（ARLM）の有望な代替として登場し、原理的にはより均一な文脈利用を可能にするはずのノイズ除去目的関数を活用している。本研究では、MDLMの文脈理解能力を検証し、2つの重要な限界を明らかにする。第一に、よりグローバルな訓練目的関数と双方向アテンション機構を備えているにもかかわらず、MDLMはARLMと同様に強い局所性バイアスを示す：性能は入力内の関連情報の位置に強く影響され、遠い文脈よりも局所的な文脈を優先する。第二に、生成に必要とされる多数のマスクトークンを付加することが、文脈理解を著しく損なうことを示す。体系的なアブレーション実験を通じて、これらのマスクが注意散漫要因として作用し、モデルが関連情報を処理する能力を低下させることを明らかにする。この問題に対処するため、予測が付加されるマスク数に依存しないことを促すマスク非依存損失関数を提案する。この目的関数によるファインチューニングは、マスクの注意散漫効果を大幅に軽減し、MDLMの頑健性を向上させる。全体として、我々の知見は現在のMDLM訓練パラダイムの重大な限界を暴露するとともに、より強力な文脈理解能力を持つ拡散ベース言語モデル構築への実践的な示唆を提供する。

English

Masked Diffusion Language Models (MDLMs) have recently emerged as a promising alternative to Autoregressive Language Models (ARLMs), leveraging a denoising objective that, in principle, should enable more uniform context utilisation. In this work, we examine the context comprehension abilities of MDLMs and uncover two key limitations. First, despite their more global training objective and bidirectional attention mechanism, similarly to ARLMS, MDLMs exhibit a strong locality bias: performance is highly sensitive to the position of relevant information within the input, favouring local over distant context. Second, we show that appending a large number of mask tokens--required for generation--can significantly degrade context comprehension. Through systematic ablations, we find that these masks act as distractors, reducing the model's ability to process relevant information. To address this, we introduce a mask-agnostic loss function that encourages predictions to remain invariant to the number of appended masks. Fine-tuning with this objective substantially mitigates the distracting effect of masks, improving robustness of MDLMs. Overall, our findings reveal critical limitations of the current MDLM training paradigm and provide actionable insights for building diffusion-based language models with stronger context comprehension.