Обход дискретной диффузии: детерминированный обход стены сэмплирования

Loopholing Discrete Diffusion: Deterministic Bypass of the Sampling Wall

October 22, 2025

Авторы: Mingyu Jo, Jaesik Yoon, Justin Deschenaux, Caglar Gulcehre, Sungjin Ahn

cs.AI

Аннотация

Дискретные диффузионные модели предлагают перспективную альтернативу авторегрессионной генерации за счет параллельного декодирования, однако они сталкиваются с проблемой "стены семплирования": как только происходит категориальный семплинг, богатая распределительная информация схлопывается в one-hot векторы и не может передаваться между шагами, вынуждая последующие шаги работать с ограниченной информацией. Для решения этой проблемы мы представляем Loopholing — новый и простой механизм, сохраняющий эту информацию через детерминированный латентный путь, что приводит к созданию Loopholing Discrete Diffusion Models (LDDMs). Обученные эффективно с помощью стратегии самокондиционирования, LDDMs демонстрируют значительный прогресс: снижают перплексию генерации до 61% по сравнению с предыдущими базовыми методами, сокращая (а в некоторых случаях и превосходя) разрыв с авторегрессионными моделями и производя более связный текст. Примененные к задачам логического вывода, LDDMs также улучшают результаты на арифметических бенчмарках, таких как Countdown и Game of 24. Эти результаты также указывают на то, что loopholing смягчает проблему холостых шагов и осцилляций, открывая масштабируемый путь к высококачественной неавторегрессионной генерации текста.

English

Discrete diffusion models offer a promising alternative to autoregressive generation through parallel decoding, but they suffer from a sampling wall: once categorical sampling occurs, rich distributional information collapses into one-hot vectors and cannot be propagated across steps, forcing subsequent steps to operate with limited information. To mitigate this problem, we introduce Loopholing, a novel and simple mechanism that preserves this information via a deterministic latent pathway, leading to Loopholing Discrete Diffusion Models (LDDMs). Trained efficiently with a self-conditioning strategy, LDDMs achieve substantial gains-reducing generative perplexity by up to 61% over prior baselines, closing (and in some cases surpassing) the gap with autoregressive models, and producing more coherent text. Applied to reasoning tasks, LDDMs also improve performance on arithmetic benchmarks such as Countdown and Game of 24. These results also indicate that loopholing mitigates idle steps and oscillations, providing a scalable path toward high-quality non-autoregressive text generation.