Loopholing bei diskreter Diffusion: Deterministisches Umgehen der Sampling-Barriere

Loopholing Discrete Diffusion: Deterministic Bypass of the Sampling Wall

October 22, 2025

papers.authors: Mingyu Jo, Jaesik Yoon, Justin Deschenaux, Caglar Gulcehre, Sungjin Ahn

cs.AI

papers.abstract

Diskrete Diffusionsmodelle bieten eine vielversprechende Alternative zur autoregressiven Erzeugung durch parallele Dekodierung, leiden jedoch unter einem Sampling-Problem: Sobald kategoriales Sampling stattfindet, kollabieren umfangreiche Verteilungsinformationen zu One-Hot-Vektoren und können nicht über die Schritte hinweg propagiert werden, was nachfolgende Schritte zwingt, mit begrenzten Informationen zu operieren. Um dieses Problem zu mildern, führen wir Loopholing ein, einen neuartigen und einfachen Mechanismus, der diese Informationen über einen deterministischen latenten Pfad erhält, was zu Loopholing Discrete Diffusion Models (LDDMs) führt. Effizient trainiert mit einer Self-Conditioning-Strategie, erzielen LDDMs erhebliche Verbesserungen – sie reduzieren die generative Perplexität um bis zu 61 % gegenüber früheren Baseline-Modellen, schließen die Lücke zu autoregressiven Modellen (und übertreffen sie in einigen Fällen sogar) und erzeugen kohärenteren Text. Bei der Anwendung auf Reasoning-Aufgaben verbessern LDDMs ebenfalls die Leistung auf arithmetischen Benchmarks wie Countdown und Game of 24. Diese Ergebnisse deuten zudem darauf hin, dass Loopholing Leerlaufschritte und Oszillationen vermindert und damit einen skalierbaren Weg für hochwertige nicht-autoregressive Texterzeugung bietet.

English

Discrete diffusion models offer a promising alternative to autoregressive generation through parallel decoding, but they suffer from a sampling wall: once categorical sampling occurs, rich distributional information collapses into one-hot vectors and cannot be propagated across steps, forcing subsequent steps to operate with limited information. To mitigate this problem, we introduce Loopholing, a novel and simple mechanism that preserves this information via a deterministic latent pathway, leading to Loopholing Discrete Diffusion Models (LDDMs). Trained efficiently with a self-conditioning strategy, LDDMs achieve substantial gains-reducing generative perplexity by up to 61% over prior baselines, closing (and in some cases surpassing) the gap with autoregressive models, and producing more coherent text. Applied to reasoning tasks, LDDMs also improve performance on arithmetic benchmarks such as Countdown and Game of 24. These results also indicate that loopholing mitigates idle steps and oscillations, providing a scalable path toward high-quality non-autoregressive text generation.