Au-delà des masques rigides : Évolution progressive des tokens pour les modèles de langage à diffusion
Beyond Hard Masks: Progressive Token Evolution for Diffusion Language Models
January 12, 2026
papers.authors: Linhao Zhong, Linyu Wu, Bozhen Fang, Tianjian Feng, Chenchen Jing, Wen Wang, Jiaheng Zhang, Hao Chen, Chunhua Shen
cs.AI
papers.abstract
Les modèles de langage par diffusion (DLM) offrent une alternative prometteuse pour la modélisation du langage en permettant un décodage parallèle par raffinement itératif. Cependant, la plupart des DLM reposent sur un masquage binaire strict et des assignations discrètes de tokens, ce qui entrave la révision des décisions précoces et sous-utilise les représentations probabilistes intermédiaires. Dans cet article, nous proposons EvoToken-DLM, une nouvelle approche de modélisation du langage basée sur la diffusion qui remplace les masques binaires stricts par des distributions souples et évolutives de tokens. EvoToken-DLM permet une transition progressive des états masqués vers des sorties discrètes, supportant un décodage révisable. Pour soutenir efficacement cette évolution, nous introduisons une supervision continue des trajectoires, qui aligne les objectifs d'entraînement avec les mises à jour probabilistes itératives. Des expériences approfondies sur plusieurs benchmarks montrent qu'EvoToken-DLM atteint constamment des performances supérieures, surpassant les modèles de référence solides basés sur la diffusion et les DLM masqués. Page web du projet : https://aim-uofa.github.io/EvoTokenDLM.
English
Diffusion Language Models (DLMs) offer a promising alternative for language modeling by enabling parallel decoding through iterative refinement. However, most DLMs rely on hard binary masking and discrete token assignments, which hinder the revision of early decisions and underutilize intermediate probabilistic representations. In this paper, we propose EvoToken-DLM, a novel diffusion-based language modeling approach that replaces hard binary masks with evolving soft token distributions. EvoToken-DLM enables a progressive transition from masked states to discrete outputs, supporting revisable decoding. To effectively support this evolution, we introduce continuous trajectory supervision, which aligns training objectives with iterative probabilistic updates. Extensive experiments across multiple benchmarks show that EvoToken-DLM consistently achieves superior performance, outperforming strong diffusion-based and masked DLM baselines. Project webpage: https://aim-uofa.github.io/EvoTokenDLM.