За пределами жестких масок: прогрессивная эволюция токенов для диффузионных языковых моделей

Beyond Hard Masks: Progressive Token Evolution for Diffusion Language Models

January 12, 2026

Авторы: Linhao Zhong, Linyu Wu, Bozhen Fang, Tianjian Feng, Chenchen Jing, Wen Wang, Jiaheng Zhang, Hao Chen, Chunhua Shen

cs.AI

Аннотация

Диффузионные языковые модели (DLM) представляют перспективную альтернативу для языкового моделирования, обеспечивая параллельное декодирование за счёт итеративного уточнения. Однако большинство DLM полагаются на жёсткое бинарное маскирование и дискретные назначения токенов, что затрудняет пересмотр ранних решений и неэффективно использует промежуточные вероятностные представления. В данной статье мы предлагаем EvoToken-DLM — новый диффузионный подход к языковому моделированию, который заменяет жёсткие бинарные маски эволюционирующими мягкими распределениями токенов. EvoToken-DLM обеспечивает плавный переход от замаскированных состояний к дискретным выходным данным, поддерживая пересматриваемое декодирование. Для эффективной поддержки этой эволюции мы вводим непрерывный контроль по траектории, который согласует учебные цели с итеративными вероятностными обновлениями. Многочисленные эксперименты на различных тестовых наборах показывают, что EvoToken-DLM стабильно демонстрирует превосходящую производительность, опережая сильные диффузионные и маскированные DLM-базlines. Страница проекта: https://aim-uofa.github.io/EvoTokenDLM.

English

Diffusion Language Models (DLMs) offer a promising alternative for language modeling by enabling parallel decoding through iterative refinement. However, most DLMs rely on hard binary masking and discrete token assignments, which hinder the revision of early decisions and underutilize intermediate probabilistic representations. In this paper, we propose EvoToken-DLM, a novel diffusion-based language modeling approach that replaces hard binary masks with evolving soft token distributions. EvoToken-DLM enables a progressive transition from masked states to discrete outputs, supporting revisable decoding. To effectively support this evolution, we introduce continuous trajectory supervision, which aligns training objectives with iterative probabilistic updates. Extensive experiments across multiple benchmarks show that EvoToken-DLM consistently achieves superior performance, outperforming strong diffusion-based and masked DLM baselines. Project webpage: https://aim-uofa.github.io/EvoTokenDLM.