Scavalcamento del Diffusore Discreto: Bypass Deterministico del Muro del Campionamento

Loopholing Discrete Diffusion: Deterministic Bypass of the Sampling Wall

October 22, 2025

Autori: Mingyu Jo, Jaesik Yoon, Justin Deschenaux, Caglar Gulcehre, Sungjin Ahn

cs.AI

Abstract

I modelli di diffusione discreta offrono un'alternativa promettente alla generazione autoregressiva tramite decodifica parallela, ma soffrono di un muro campionario: una volta che avviene il campionamento categorico, le ricche informazioni distribuzionali collassano in vettori one-hot e non possono essere propagate attraverso i passi, costringendo i passi successivi a operare con informazioni limitate. Per mitigare questo problema, introduciamo il Loopholing, un meccanismo nuovo e semplice che preserva queste informazioni attraverso un percorso latente deterministico, portando ai Modelli di Diffusione Discreta con Loopholing (LDDM). Addestrati efficientemente con una strategia di auto-condizionamento, gli LDDM raggiungono miglioramenti sostanziali – riducendo la perplessità generativa fino al 61% rispetto ai precedenti baseline, colmando (e in alcuni casi superando) il divario con i modelli autoregressivi e producendo testo più coerente. Applicati a compiti di ragionamento, gli LDDM migliorano anche le prestazioni su benchmark aritmetici come Countdown e Game of 24. Questi risultati indicano inoltre che il loopholing mitiga i passi inattivi e le oscillazioni, fornendo un percorso scalabile verso la generazione di testo non autoregressiva di alta qualità.

English

Discrete diffusion models offer a promising alternative to autoregressive generation through parallel decoding, but they suffer from a sampling wall: once categorical sampling occurs, rich distributional information collapses into one-hot vectors and cannot be propagated across steps, forcing subsequent steps to operate with limited information. To mitigate this problem, we introduce Loopholing, a novel and simple mechanism that preserves this information via a deterministic latent pathway, leading to Loopholing Discrete Diffusion Models (LDDMs). Trained efficiently with a self-conditioning strategy, LDDMs achieve substantial gains-reducing generative perplexity by up to 61% over prior baselines, closing (and in some cases surpassing) the gap with autoregressive models, and producing more coherent text. Applied to reasoning tasks, LDDMs also improve performance on arithmetic benchmarks such as Countdown and Game of 24. These results also indicate that loopholing mitigates idle steps and oscillations, providing a scalable path toward high-quality non-autoregressive text generation.