Voorbij Harde Maskers: Progressieve Token-evolutie voor Diffusion Language Modellen
Beyond Hard Masks: Progressive Token Evolution for Diffusion Language Models
January 12, 2026
Auteurs: Linhao Zhong, Linyu Wu, Bozhen Fang, Tianjian Feng, Chenchen Jing, Wen Wang, Jiaheng Zhang, Hao Chen, Chunhua Shen
cs.AI
Samenvatting
Diffusie-taalmodellen (DLM's) bieden een veelbelovend alternatief voor taalmodellering door parallelle decodering mogelijk te maken via iteratieve verfijning. De meeste DLM's zijn echter gebaseerd op harde binaire maskering en discrete token-toewijzingen, wat het herzien van vroege beslissingen belemmert en het gebruik van intermediaire probabilistische representaties onderbenut. In dit artikel stellen we EvoToken-DLM voor, een nieuwe op diffusie gebaseerde taalmodelleringsaanpak die harde binaire maskers vervangt door evoluerende zachte token-distributies. EvoToken-DLM maakt een geleidelijke overgang mogelijk van gemaskeerde toestanden naar discrete uitvoeren, waarbij revisie van decodering wordt ondersteund. Om deze evolutie effectief te ondersteunen, introduceren we continue trajectsupervisie, waarbij de trainingsdoelen worden afgestemd op iteratieve probabilistische updates. Uitgebreide experimenten op meerdere benchmarks tonen aan dat EvoToken-DLM consistent superieure prestaties bereikt en sterke op diffusie gebaseerde en gemaskeerde DLM-basislijnen overtreft. Projectwebpagina: https://aim-uofa.github.io/EvoTokenDLM.
English
Diffusion Language Models (DLMs) offer a promising alternative for language modeling by enabling parallel decoding through iterative refinement. However, most DLMs rely on hard binary masking and discrete token assignments, which hinder the revision of early decisions and underutilize intermediate probabilistic representations. In this paper, we propose EvoToken-DLM, a novel diffusion-based language modeling approach that replaces hard binary masks with evolving soft token distributions. EvoToken-DLM enables a progressive transition from masked states to discrete outputs, supporting revisable decoding. To effectively support this evolution, we introduce continuous trajectory supervision, which aligns training objectives with iterative probabilistic updates. Extensive experiments across multiple benchmarks show that EvoToken-DLM consistently achieves superior performance, outperforming strong diffusion-based and masked DLM baselines. Project webpage: https://aim-uofa.github.io/EvoTokenDLM.