離散拡散モデル：トークン化から生成までの統一フレームワーク

要旨

離散デノイジング拡散モデル（DDMs）は近年、離散データに対する自己回帰（AR）モデリングの有力な代替手法として登場し、並列生成と反復的グローバルリファインメント能力を提供している。状態空間が固定された連続拡散とは異なり、DDMsは離散状態空間の構築方法、すなわちトークン化手法、語彙トポロジー、およびドメイン固有の構造的アルファベットによって根本的に形成される。本研究では、離散拡散モデルを基礎となる離散状態空間の構築を通じて捉える統一的な概念的枠組みを提示する。この枠組みの下で、遷移行列、マスキング/吸収状態、スコア/比ベースの手法を含む既存の定式化は、共通の設計空間における異なる具体化として現れる。さらに、この枠組みは、訓練目的、推論アルゴリズム、スケーリング挙動、システム最適化、評価プロトコルにわたる共通の設計トレードオフを明らかにし、今後の研究に向けたいくつかの有望な方向性を示唆する。

English

Discrete denoising diffusion models (DDMs) have recently emerged as a compelling alternative to autoregressive (AR) modeling for discrete data, offering parallel generation and iterative global refinement capabilities. Unlike continuous diffusion, where the state space is fixed, DDMs are fundamentally shaped by how the discrete state space is constructed: the tokenization scheme, the vocabulary topology, and domain-specific structural alphabets. This work introduces a unified conceptual framework that views discrete diffusion models through the construction of the underlying discrete state space. Within this framework, existing formulations, including transition-matrix, masking/absorbing-state, and score/ratio-based approaches, emerge as different instantiations of a common design space. The framework further exposes common design trade-offs across training objectives, inference algorithms, scaling behavior, systems optimization, and evaluation protocols, suggesting several promising directions for future research.