이산 확산의 허점: 표집 장벽의 결정론적 우회

초록

이산 확산 모델은 병렬 디코딩을 통해 자기회귀 생성에 대한 유망한 대안을 제공하지만, 샘플링 벽이라는 한계가 존재합니다: 범주형 샘플링이 발생하면 풍부한 분포 정보가 원-핫 벡터로 축소되어 단계 간 전파가 불가능해지며, 이후 단계들은 제한된 정보만으로 작동해야 합니다. 이 문제를 완화하기 위해 우리는 결정론적 잠재 경로를 통해 이러한 정보를 보존하는 새롭고 간단한 메커니즘인 Loopholing을 도입하여 Loopholing 이산 확산 모델(LDDMs)을 제안합니다. 자기 조건화 전략으로 효율적으로 학습된 LDDMs는 기존 기준 대비 생성 복잡도를 최대 61%까지 감소시키는 상당한 성능 향상을 달성하며, 자기회귀 모델과의 격차를 줄이고(일부 경우에는 능가하는) 더 일관된 텍스트를 생성합니다. 추론 작업에 적용된 LDDMs는 Countdown 및 Game of 24와 같은 산술 벤치마크에서도 성능을 향상시킵니다. 이러한 결과는 Loopholing이 유휴 단계와 진동을 완화하여 고품질 비자기회귀 텍스트 생성으로 확장 가능한 경로를 제공함을 시사합니다.

English

Discrete diffusion models offer a promising alternative to autoregressive generation through parallel decoding, but they suffer from a sampling wall: once categorical sampling occurs, rich distributional information collapses into one-hot vectors and cannot be propagated across steps, forcing subsequent steps to operate with limited information. To mitigate this problem, we introduce Loopholing, a novel and simple mechanism that preserves this information via a deterministic latent pathway, leading to Loopholing Discrete Diffusion Models (LDDMs). Trained efficiently with a self-conditioning strategy, LDDMs achieve substantial gains-reducing generative perplexity by up to 61% over prior baselines, closing (and in some cases surpassing) the gap with autoregressive models, and producing more coherent text. Applied to reasoning tasks, LDDMs also improve performance on arithmetic benchmarks such as Countdown and Game of 24. These results also indicate that loopholing mitigates idle steps and oscillations, providing a scalable path toward high-quality non-autoregressive text generation.

이산 확산의 허점: 표집 장벽의 결정론적 우회

Loopholing Discrete Diffusion: Deterministic Bypass of the Sampling Wall

초록

Support