Contornando a Difusão Discreta: Desvio Determinante do Muro de Amostragem

Loopholing Discrete Diffusion: Deterministic Bypass of the Sampling Wall

October 22, 2025

Autores: Mingyu Jo, Jaesik Yoon, Justin Deschenaux, Caglar Gulcehre, Sungjin Ahn

cs.AI

Resumo

Os modelos de difusão discreta oferecem uma alternativa promissora à geração autoregressiva através da decodificação paralela, mas sofrem de uma barreira de amostragem: uma vez que a amostragem categórica ocorre, a rica informação distribucional colapsa em vetores *one-hot* e não pode ser propagada entre as etapas, forçando as etapas subsequentes a operarem com informação limitada. Para mitigar este problema, introduzimos o "Loopholing", um mecanismo novo e simples que preserva esta informação através de um caminho latente determinístico, resultando nos Modelos de Difusão Discreta com Loopholing (LDDMs). Treinados eficientemente com uma estratégia de auto-condicionamento, os LDDMs alcançam ganhos substanciais – reduzindo a perplexidade generativa em até 61% em relação às linhas de base anteriores, fechando (e em alguns casos superando) a diferença com os modelos autoregressivos e produzindo texto mais coerente. Aplicados a tarefas de raciocínio, os LDDMs também melhoram o desempenho em benchmarks aritméticos como Countdown e Game of 24. Estes resultados também indicam que o loopholing mitiga etapas ociosas e oscilações, fornecendo um caminho escalável para a geração de texto não autoregressiva de alta qualidade.

English

Discrete diffusion models offer a promising alternative to autoregressive generation through parallel decoding, but they suffer from a sampling wall: once categorical sampling occurs, rich distributional information collapses into one-hot vectors and cannot be propagated across steps, forcing subsequent steps to operate with limited information. To mitigate this problem, we introduce Loopholing, a novel and simple mechanism that preserves this information via a deterministic latent pathway, leading to Loopholing Discrete Diffusion Models (LDDMs). Trained efficiently with a self-conditioning strategy, LDDMs achieve substantial gains-reducing generative perplexity by up to 61% over prior baselines, closing (and in some cases surpassing) the gap with autoregressive models, and producing more coherent text. Applied to reasoning tasks, LDDMs also improve performance on arithmetic benchmarks such as Countdown and Game of 24. These results also indicate that loopholing mitigates idle steps and oscillations, providing a scalable path toward high-quality non-autoregressive text generation.