이산 확산 모델: 토큰화부터 생성까지의 통합 프레임워크

초록

이산 잡음 제거 확산 모델(DDM)은 최근 이산 데이터에 대한 자기회귀(AR) 모델링의 강력한 대안으로 부상하며, 병렬 생성 및 반복적 전역 정제 능력을 제공한다. 상태 공간이 고정된 연속 확산과 달리, DDM은 이산 상태 공간이 구성되는 방식, 즉 토큰화 방식, 어휘 위상, 그리고 도메인 특화 구조적 알파벳에 의해 근본적으로 결정된다. 본 연구는 기본적인 이산 상태 공간의 구성을 통해 이산 확산 모델을 바라보는 통합 개념적 프레임워크를 소개한다. 이 프레임워크 내에서, 전이 행렬 기반, 마스킹/흡수 상태 기반, 점수/비율 기반 접근법을 포함한 기존의 정식화들은 공통 설계 공간의 서로 다른 구현체로 나타난다. 또한 이 프레임워크는 학습 목적 함수, 추론 알고리즘, 스케일링 행동, 시스템 최적화, 평가 프로토콜 전반에 걸친 공통적인 설계 절충점을 드러내며, 향후 연구를 위한 몇 가지 유망한 방향을 제시한다.

English

Discrete denoising diffusion models (DDMs) have recently emerged as a compelling alternative to autoregressive (AR) modeling for discrete data, offering parallel generation and iterative global refinement capabilities. Unlike continuous diffusion, where the state space is fixed, DDMs are fundamentally shaped by how the discrete state space is constructed: the tokenization scheme, the vocabulary topology, and domain-specific structural alphabets. This work introduces a unified conceptual framework that views discrete diffusion models through the construction of the underlying discrete state space. Within this framework, existing formulations, including transition-matrix, masking/absorbing-state, and score/ratio-based approaches, emerge as different instantiations of a common design space. The framework further exposes common design trade-offs across training objectives, inference algorithms, scaling behavior, systems optimization, and evaluation protocols, suggesting several promising directions for future research.