Más allá de las máscaras rígidas: Evolución progresiva de tokens para modelos de lenguaje de difusión

Beyond Hard Masks: Progressive Token Evolution for Diffusion Language Models

January 12, 2026

Autores: Linhao Zhong, Linyu Wu, Bozhen Fang, Tianjian Feng, Chenchen Jing, Wen Wang, Jiaheng Zhang, Hao Chen, Chunhua Shen

cs.AI

Resumen

Los Modelos de Lenguaje de Difusión (DLM) ofrecen una alternativa prometedora para el modelado del lenguaje al permitir una decodificación paralela mediante refinamiento iterativo. Sin embargo, la mayoría de los DLM se basan en enmascaramiento binario rígido y asignaciones discretas de tokens, lo que dificulta la revisión de decisiones tempranas y subutiliza las representaciones probabilísticas intermedias. En este artículo, proponemos EvoToken-DLM, un novedoso enfoque de modelado del lenguaje basado en difusión que reemplaza las máscaras binarias rígidas con distribuciones de tokens suaves y evolutivas. EvoToken-DLM permite una transición progresiva de estados enmascarados a salidas discretas, apoyando una decodificación revisable. Para respaldar eficazmente esta evolución, introducimos una supervisión de trayectoria continua, que alinea los objetivos de entrenamiento con las actualizaciones probabilísticas iterativas. Experimentos exhaustivos en múltiples benchmarks muestran que EvoToken-DLM logra consistentemente un rendimiento superior, superando a sólidas líneas base basadas en difusión y DLM enmascarados. Página web del proyecto: https://aim-uofa.github.io/EvoTokenDLM.

English

Diffusion Language Models (DLMs) offer a promising alternative for language modeling by enabling parallel decoding through iterative refinement. However, most DLMs rely on hard binary masking and discrete token assignments, which hinder the revision of early decisions and underutilize intermediate probabilistic representations. In this paper, we propose EvoToken-DLM, a novel diffusion-based language modeling approach that replaces hard binary masks with evolving soft token distributions. EvoToken-DLM enables a progressive transition from masked states to discrete outputs, supporting revisable decoding. To effectively support this evolution, we introduce continuous trajectory supervision, which aligns training objectives with iterative probabilistic updates. Extensive experiments across multiple benchmarks show that EvoToken-DLM consistently achieves superior performance, outperforming strong diffusion-based and masked DLM baselines. Project webpage: https://aim-uofa.github.io/EvoTokenDLM.