Contourner la Diffusion Discrète : Détournement Déterministe de la Barrière d'Échantillonnage

Loopholing Discrete Diffusion: Deterministic Bypass of the Sampling Wall

October 22, 2025

papers.authors: Mingyu Jo, Jaesik Yoon, Justin Deschenaux, Caglar Gulcehre, Sungjin Ahn

cs.AI

papers.abstract

Les modèles de diffusion discrets offrent une alternative prometteuse à la génération autorégressive grâce au décodage parallèle, mais ils souffrent d'un mur d'échantillonnage : une fois que l'échantillonnage catégoriel se produit, les riches informations distributionnelles s'effondrent en vecteurs one-hot et ne peuvent plus être propagées entre les étapes, forçant les étapes suivantes à opérer avec des informations limitées. Pour atténuer ce problème, nous introduisons le "Loopholing", un mécanisme novateur et simple qui préserve cette information via un chemin latent déterministe, conduisant aux Modèles de Diffusion Discrets à Loopholing (LDDM). Entraînés efficacement avec une stratégie d'auto-conditionnement, les LDDM obtiennent des gains substantiels - réduisant la perplexité générative jusqu'à 61% par rapport aux modèles de référence antérieurs, comblant (et dans certains cas dépassant) l'écart avec les modèles autorégressifs, et produisant un texte plus cohérent. Appliqués aux tâches de raisonnement, les LDDM améliorent également les performances sur des benchmarks arithmétiques tels que Countdown et Game of 24. Ces résultats indiquent également que le loopholing atténue les étapes inactives et les oscillations, offrant une voie évolutive vers une génération de texte non autorégressive de haute qualité.

English

Discrete diffusion models offer a promising alternative to autoregressive generation through parallel decoding, but they suffer from a sampling wall: once categorical sampling occurs, rich distributional information collapses into one-hot vectors and cannot be propagated across steps, forcing subsequent steps to operate with limited information. To mitigate this problem, we introduce Loopholing, a novel and simple mechanism that preserves this information via a deterministic latent pathway, leading to Loopholing Discrete Diffusion Models (LDDMs). Trained efficiently with a self-conditioning strategy, LDDMs achieve substantial gains-reducing generative perplexity by up to 61% over prior baselines, closing (and in some cases surpassing) the gap with autoregressive models, and producing more coherent text. Applied to reasoning tasks, LDDMs also improve performance on arithmetic benchmarks such as Countdown and Game of 24. These results also indicate that loopholing mitigates idle steps and oscillations, providing a scalable path toward high-quality non-autoregressive text generation.