Loopholing Discrete Diffusion: Deterministische Omzeiling van de Sampling Barrière

Loopholing Discrete Diffusion: Deterministic Bypass of the Sampling Wall

October 22, 2025

Auteurs: Mingyu Jo, Jaesik Yoon, Justin Deschenaux, Caglar Gulcehre, Sungjin Ahn

cs.AI

Samenvatting

Discrete diffusiemodellen bieden een veelbelovend alternatief voor autoregressieve generatie door middel van parallel decoderen, maar zij lijden onder een sampling-muur: zodra categorische sampling plaatsvindt, stort rijke distributionele informatie ineen tot one-hot vectoren en kan deze niet worden doorgegeven tussen stappen, waardoor volgende stappen met beperkte informatie moeten werken. Om dit probleem te verlichten, introduceren wij Loopholing, een nieuw en eenvoudig mechanisme dat deze informatie bewaart via een deterministisch latent pad, wat leidt tot Loopholing Discrete Diffusiemodellen (LDDM's). Getraind met een efficiënte zelf-conditioneringsstrategie behalen LDDM's aanzienlijke winst: zij verminderen de generatieve perplexiteit met tot 61% ten opzichte van eerdere baseline-modellen, dichten (en overtreffen in sommige gevallen) de kloof met autoregressieve modellen, en produceren coherentere tekst. Toegepast op redeneertaken verbeteren LDDM's ook de prestaties op rekenkundige benchmarks zoals Countdown en Game of 24. Deze resultaten geven eveneens aan dat loopholing inactieve stappen en oscillaties vermindert, en biedt zo een schaalbare weg naar hoogwaardige niet-autoregressieve tekstgeneratie.

English

Discrete diffusion models offer a promising alternative to autoregressive generation through parallel decoding, but they suffer from a sampling wall: once categorical sampling occurs, rich distributional information collapses into one-hot vectors and cannot be propagated across steps, forcing subsequent steps to operate with limited information. To mitigate this problem, we introduce Loopholing, a novel and simple mechanism that preserves this information via a deterministic latent pathway, leading to Loopholing Discrete Diffusion Models (LDDMs). Trained efficiently with a self-conditioning strategy, LDDMs achieve substantial gains-reducing generative perplexity by up to 61% over prior baselines, closing (and in some cases surpassing) the gap with autoregressive models, and producing more coherent text. Applied to reasoning tasks, LDDMs also improve performance on arithmetic benchmarks such as Countdown and Game of 24. These results also indicate that loopholing mitigates idle steps and oscillations, providing a scalable path toward high-quality non-autoregressive text generation.