Las Máscaras Pueden Ser una Distracción: Sobre la Comprensión del Contexto en Modelos de Lenguaje de Difusión
Masks Can Be Distracting: On Context Comprehension in Diffusion Language Models
November 26, 2025
Autores: Julianna Piskorz, Cristina Pinneri, Alvaro Correia, Motasem Alfarra, Risheek Garrepalli, Christos Louizos
cs.AI
Resumen
Los Modelos de Lenguaje de Difusión Enmascarada (MDLM, por sus siglas en inglés) han surgido recientemente como una alternativa prometedora a los Modelos de Lenguaje Autoregresivos (ARLM), aprovechando un objetivo de eliminación de ruido que, en principio, debería permitir una utilización del contexto más uniforme. En este trabajo, examinamos las capacidades de comprensión contextual de los MDLM y descubrimos dos limitaciones clave. En primer lugar, a pesar de su objetivo de entrenamiento más global y su mecanismo de atención bidireccional, de manera similar a los ARLM, los MDLM exhiben un fuerte sesgo de localidad: el rendimiento es muy sensible a la posición de la información relevante dentro de la entrada, favoreciendo el contexto local sobre el distante. En segundo lugar, demostramos que añadir una gran cantidad de tokens de enmascaramiento—necesarios para la generación—puede degradar significativamente la comprensión del contexto. Mediante ablaciones sistemáticas, encontramos que estas máscaras actúan como distractores, reduciendo la capacidad del modelo para procesar información relevante. Para abordar esto, introducimos una función de pérdida insensible a las máscaras que fomenta que las predicciones permanezcan invariantes al número de máscaras añadidas. El ajuste fino con este objetivo mitiga sustancialmente el efecto distractor de las máscaras, mejorando la robustez de los MDLM. En general, nuestros hallazgos revelan limitaciones críticas del paradigma de entrenamiento actual de los MDLM y proporcionan ideas prácticas para construir modelos de lenguaje basados en difusión con una comprensión contextual más sólida.
English
Masked Diffusion Language Models (MDLMs) have recently emerged as a promising alternative to Autoregressive Language Models (ARLMs), leveraging a denoising objective that, in principle, should enable more uniform context utilisation. In this work, we examine the context comprehension abilities of MDLMs and uncover two key limitations. First, despite their more global training objective and bidirectional attention mechanism, similarly to ARLMS, MDLMs exhibit a strong locality bias: performance is highly sensitive to the position of relevant information within the input, favouring local over distant context. Second, we show that appending a large number of mask tokens--required for generation--can significantly degrade context comprehension. Through systematic ablations, we find that these masks act as distractors, reducing the model's ability to process relevant information. To address this, we introduce a mask-agnostic loss function that encourages predictions to remain invariant to the number of appended masks. Fine-tuning with this objective substantially mitigates the distracting effect of masks, improving robustness of MDLMs. Overall, our findings reveal critical limitations of the current MDLM training paradigm and provide actionable insights for building diffusion-based language models with stronger context comprehension.