하드 마스크를 넘어서: 확산 언어 모델을 위한 점진적 토큰 진화

초록

확산 언어 모델(DLM)은 반복적 정제를 통한 병렬 디코딩을 가능하게 함으로써 언어 모델링에 대한 유망한 대안을 제공합니다. 그러나 대부분의 DLM은 하드 이진 마스킹과 이산 토큰 할당에 의존하여 초기 결정 수정을 방해하고 중간 확률적 표현을 충분히 활용하지 못합니다. 본 논문에서는 하드 이진 마스크를 진화하는 소프트 토큰 분포로 대체하는 새로운 확산 기반 언어 모델링 접근법인 EvoToken-DLM을 제안합니다. EvoToken-DLM은 마스크된 상태에서 이산 출력으로의 점진적 전환을 가능하게 하여 수정 가능한 디코딩을 지원합니다. 이러한 진화를 효과적으로 지원하기 위해 훈련 목표를 반복적 확률적 업데이트와 일치시키는 연속 궤적 감독을 도입합니다. 다양한 벤치마크에서 수행한 광범위한 실험을 통해 EvoToken-DLM이 강력한 확산 기반 및 마스킹 DLM 기준선을 능가하는 우수한 성능을 일관되게 달성함을 보여줍니다. 프로젝트 웹페이지: https://aim-uofa.github.io/EvoTokenDLM.

English

Diffusion Language Models (DLMs) offer a promising alternative for language modeling by enabling parallel decoding through iterative refinement. However, most DLMs rely on hard binary masking and discrete token assignments, which hinder the revision of early decisions and underutilize intermediate probabilistic representations. In this paper, we propose EvoToken-DLM, a novel diffusion-based language modeling approach that replaces hard binary masks with evolving soft token distributions. EvoToken-DLM enables a progressive transition from masked states to discrete outputs, supporting revisable decoding. To effectively support this evolution, we introduce continuous trajectory supervision, which aligns training objectives with iterative probabilistic updates. Extensive experiments across multiple benchmarks show that EvoToken-DLM consistently achieves superior performance, outperforming strong diffusion-based and masked DLM baselines. Project webpage: https://aim-uofa.github.io/EvoTokenDLM.

하드 마스크를 넘어서: 확산 언어 모델을 위한 점진적 토큰 진화

Beyond Hard Masks: Progressive Token Evolution for Diffusion Language Models

초록

Support