Jenseits harter Masken: Progressive Token-Evolution für Diffusions-Sprachmodelle
Beyond Hard Masks: Progressive Token Evolution for Diffusion Language Models
January 12, 2026
papers.authors: Linhao Zhong, Linyu Wu, Bozhen Fang, Tianjian Feng, Chenchen Jing, Wen Wang, Jiaheng Zhang, Hao Chen, Chunhua Shen
cs.AI
papers.abstract
Diffusions-Sprachmodelle (DLMs) bieten eine vielversprechende Alternative für Sprachmodellierung, indem sie parallele Decodierung durch iterative Verfeinerung ermöglichen. Die meisten DLMs beruhen jedoch auf harten binären Maskierungen und diskreten Token-Zuweisungen, was die Revision früher Entscheidungen behindert und Zwischenrepräsentationen mit probabilistischem Charakter unzureichend nutzt. In diesem Artikel stellen wir EvoToken-DLM vor, einen neuartigen diffusionsbasierten Sprachmodellierungsansatz, der harte binäre Masken durch sich entwickelnde weiche Token-Verteilungen ersetzt. EvoToken-DLM ermöglicht einen progressiven Übergang von maskierten Zuständen zu diskreten Ausgaben und unterstützt revidierbare Decodierung. Um diese Entwicklung effektiv zu unterstützen, führen wir kontinuierliche Trajektorienüberwachung ein, die die Trainingsziele mit iterativen probabilistischen Aktualisierungen in Einklang bringt. Umfangreiche Experimente über mehrere Benchmarks hinweg zeigen, dass EvoToken-DLM durchweg eine überlegene Leistung erzielt und starke diffusionsbasierte sowie maskierte DLM-Baselines übertrifft. Projektwebseite: https://aim-uofa.github.io/EvoTokenDLM.
English
Diffusion Language Models (DLMs) offer a promising alternative for language modeling by enabling parallel decoding through iterative refinement. However, most DLMs rely on hard binary masking and discrete token assignments, which hinder the revision of early decisions and underutilize intermediate probabilistic representations. In this paper, we propose EvoToken-DLM, a novel diffusion-based language modeling approach that replaces hard binary masks with evolving soft token distributions. EvoToken-DLM enables a progressive transition from masked states to discrete outputs, supporting revisable decoding. To effectively support this evolution, we introduce continuous trajectory supervision, which aligns training objectives with iterative probabilistic updates. Extensive experiments across multiple benchmarks show that EvoToken-DLM consistently achieves superior performance, outperforming strong diffusion-based and masked DLM baselines. Project webpage: https://aim-uofa.github.io/EvoTokenDLM.