硬いマスクを超えて：拡散言語モデルのための進化的トークン生成

要旨

拡散言語モデル（DLM）は、反復的な精緻化を通じて並列デコードを可能にすることで、言語モデリングにおける有望な代替手段を提供します。しかし、既存のDLMの多くはハードな二値マスキングと離散的なトークン割り当てに依存しており、初期決定の修正が困難で、中間的な確率表現を十分に活用できていません。本論文では、ハードな二値マスクを進化するソフトトークン分布で置き換える新しい拡散ベースの言語モデリング手法「EvoToken-DLM」を提案します。EvoToken-DLMは、マスク状態から離散出力への漸進的移行を実現し、修正可能なデコードをサポートします。この進化を効果的に支援するため、訓練目標を反復的な確率更新に整合させる連続軌道監督を導入します。複数のベンチマークにおける大規模な実験により、EvoToken-DLMが強力な拡散ベース及びマスク型DLMベースラインを上回り、一貫して優れた性能を達成することが示されました。プロジェクトWebページ：https://aim-uofa.github.io/EvoTokenDLM。

English

Diffusion Language Models (DLMs) offer a promising alternative for language modeling by enabling parallel decoding through iterative refinement. However, most DLMs rely on hard binary masking and discrete token assignments, which hinder the revision of early decisions and underutilize intermediate probabilistic representations. In this paper, we propose EvoToken-DLM, a novel diffusion-based language modeling approach that replaces hard binary masks with evolving soft token distributions. EvoToken-DLM enables a progressive transition from masked states to discrete outputs, supporting revisable decoding. To effectively support this evolution, we introduce continuous trajectory supervision, which aligns training objectives with iterative probabilistic updates. Extensive experiments across multiple benchmarks show that EvoToken-DLM consistently achieves superior performance, outperforming strong diffusion-based and masked DLM baselines. Project webpage: https://aim-uofa.github.io/EvoTokenDLM.

硬いマスクを超えて：拡散言語モデルのための進化的トークン生成

Beyond Hard Masks: Progressive Token Evolution for Diffusion Language Models

要旨

Support