Eludir la Difusión Discreta: Omisión Determinista del Muro de Muestreo

Loopholing Discrete Diffusion: Deterministic Bypass of the Sampling Wall

October 22, 2025

Autores: Mingyu Jo, Jaesik Yoon, Justin Deschenaux, Caglar Gulcehre, Sungjin Ahn

cs.AI

Resumen

Los modelos de difusión discreta ofrecen una alternativa prometedora a la generación autoregresiva mediante decodificación paralela, pero sufren de un muro de muestreo: una vez que ocurre el muestreo categórico, la rica información distribucional colapsa en vectores one-hot y no puede propagarse entre pasos, forzando a los pasos subsiguientes a operar con información limitada. Para mitigar este problema, introducimos *Loopholing*, un mecanismo novedoso y simple que preserva esta información mediante una ruta latente determinista, dando lugar a los Modelos de Difusión Discreta con Loopholing (LDDMs). Entrenados eficientemente con una estrategia de auto-condicionamiento, los LDDMs logran mejoras sustanciales: reducen la perplejidad generativa hasta en un 61% respecto a líneas base anteriores, cerrando (y en algunos casos superando) la brecha con los modelos autoregresivos, y produciendo texto más coherente. Aplicados a tareas de razonamiento, los LDDMs también mejoran el rendimiento en benchmarks aritméticos como Countdown y Game of 24. Estos resultados también indican que el loopholing mitiga los pasos inactivos y las oscilaciones, proporcionando una ruta escalable hacia la generación de texto no autoregresivo de alta calidad.

English

Discrete diffusion models offer a promising alternative to autoregressive generation through parallel decoding, but they suffer from a sampling wall: once categorical sampling occurs, rich distributional information collapses into one-hot vectors and cannot be propagated across steps, forcing subsequent steps to operate with limited information. To mitigate this problem, we introduce Loopholing, a novel and simple mechanism that preserves this information via a deterministic latent pathway, leading to Loopholing Discrete Diffusion Models (LDDMs). Trained efficiently with a self-conditioning strategy, LDDMs achieve substantial gains-reducing generative perplexity by up to 61% over prior baselines, closing (and in some cases surpassing) the gap with autoregressive models, and producing more coherent text. Applied to reasoning tasks, LDDMs also improve performance on arithmetic benchmarks such as Countdown and Game of 24. These results also indicate that loopholing mitigates idle steps and oscillations, providing a scalable path toward high-quality non-autoregressive text generation.