離散拡散の抜け穴：サンプリングの壁を決定論的に迂回する

要旨

離散拡散モデルは並列デコードによる自己回帰生成の有望な代替手段を提供するが、サンプリングの壁に直面している。カテゴリカルサンプリングが行われると、豊富な分布情報がワンホットベクトルに崩壊し、ステップ間で伝播できなくなるため、後続のステップは限られた情報しか利用できなくなる。この問題を緩和するため、我々は決定論的潜在経路を通じてこの情報を保持する新規かつ簡潔な機構「ループホーリング」を提案し、Loopholing Discrete Diffusion Models (LDDMs) を開発した。自己条件付け戦略による効率的な学習により、LDDMsは従来のベースラインと比較して生成パープレキシティを最大61%削減し、自己回帰モデルとの差を埋め（場合によっては凌駕し）、より一貫性のあるテキストを生成するという大幅な改善を達成した。推論タスクへの応用では、CountdownやGame of 24などの算術ベンチマークにおいても性能向上が確認された。これらの結果は、ループホーリングがアイドルステップと振動を緩和し、高品質な非自己回帰的テキスト生成へのスケーラブルな道筋を提供することを示唆している。

English

Discrete diffusion models offer a promising alternative to autoregressive generation through parallel decoding, but they suffer from a sampling wall: once categorical sampling occurs, rich distributional information collapses into one-hot vectors and cannot be propagated across steps, forcing subsequent steps to operate with limited information. To mitigate this problem, we introduce Loopholing, a novel and simple mechanism that preserves this information via a deterministic latent pathway, leading to Loopholing Discrete Diffusion Models (LDDMs). Trained efficiently with a self-conditioning strategy, LDDMs achieve substantial gains-reducing generative perplexity by up to 61% over prior baselines, closing (and in some cases surpassing) the gap with autoregressive models, and producing more coherent text. Applied to reasoning tasks, LDDMs also improve performance on arithmetic benchmarks such as Countdown and Game of 24. These results also indicate that loopholing mitigates idle steps and oscillations, providing a scalable path toward high-quality non-autoregressive text generation.

離散拡散の抜け穴：サンプリングの壁を決定論的に迂回する

Loopholing Discrete Diffusion: Deterministic Bypass of the Sampling Wall

要旨

Support