Além das Máscaras Rígidas: Evolução Progressiva de Tokens para Modelos de Linguagem de Difusão
Beyond Hard Masks: Progressive Token Evolution for Diffusion Language Models
January 12, 2026
Autores: Linhao Zhong, Linyu Wu, Bozhen Fang, Tianjian Feng, Chenchen Jing, Wen Wang, Jiaheng Zhang, Hao Chen, Chunhua Shen
cs.AI
Resumo
Os Modelos de Linguagem de Difusão (DLMs) oferecem uma alternativa promissora para a modelagem de linguagem ao permitir decodificação paralela por meio de refinamento iterativo. No entanto, a maioria dos DLMs depende de mascaramento binário rígido e atribuições discretas de tokens, o que dificulta a revisão de decisões iniciais e subutiliza representações probabilísticas intermediárias. Neste artigo, propomos o EvoToken-DLM, uma nova abordagem de modelagem de linguagem baseada em difusão que substitui máscaras binárias rígidas por distribuições suaves de tokens em evolução. O EvoToken-DLM permite uma transição progressiva de estados mascarados para saídas discretas, suportando decodificação revisável. Para apoiar eficazmente esta evolução, introduzimos supervisão contínua de trajetória, que alinha os objetivos de treinamento com atualizações probabilísticas iterativas. Experimentos extensos em múltiplos benchmarks mostram que o EvoToken-DLM alcança consistentemente desempenho superior, superando bases de comparação robustas baseadas em difusão e DLMs mascarados. Página do projeto: https://aim-uofa.github.io/EvoTokenDLM.
English
Diffusion Language Models (DLMs) offer a promising alternative for language modeling by enabling parallel decoding through iterative refinement. However, most DLMs rely on hard binary masking and discrete token assignments, which hinder the revision of early decisions and underutilize intermediate probabilistic representations. In this paper, we propose EvoToken-DLM, a novel diffusion-based language modeling approach that replaces hard binary masks with evolving soft token distributions. EvoToken-DLM enables a progressive transition from masked states to discrete outputs, supporting revisable decoding. To effectively support this evolution, we introduce continuous trajectory supervision, which aligns training objectives with iterative probabilistic updates. Extensive experiments across multiple benchmarks show that EvoToken-DLM consistently achieves superior performance, outperforming strong diffusion-based and masked DLM baselines. Project webpage: https://aim-uofa.github.io/EvoTokenDLM.