Modèle de diffusion discrète à augmentation continue pour la modélisation générative catégorielle

Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling

October 1, 2025

papers.authors: Huangjie Zheng, Shansan Gong, Ruixiang Zhang, Tianrong Chen, Jiatao Gu, Mingyuan Zhou, Navdeep Jaitly, Yizhe Zhang

cs.AI

papers.abstract

Les modèles de diffusion discrets standards traitent tous les états non observés de manière identique en les mappant à un jeton d'absorption [MASK]. Cela crée un « vide informationnel » où les informations sémantiques qui pourraient être déduites des jetons non masqués sont perdues entre les étapes de débruitage. Nous introduisons la Diffusion Discrète Continuement Augmentée (Continuously Augmented Discrete Diffusion, CADD), un cadre qui enrichit l'espace d'états discrets avec une diffusion jumelée dans un espace latent continu. Cela produit des états graduellement corrompus où les jetons masqués sont représentés par des vecteurs latents bruyants mais informatifs, plutôt que par des « vides informationnels » effondrés. À chaque étape inverse, CADD peut exploiter le latent continu comme une indication sémantique pour guider le débruitage discret. La conception est simple et compatible avec l'entraînement existant des modèles de diffusion discrets. Au moment de l'échantillonnage, la force et le choix de l'estimateur pour le vecteur latent continu permettent un compromis contrôlé entre la couverture des modes (génération de sorties diversifiées) et la recherche de modes (génération de sorties contextuellement précises). Empiriquement, nous démontrons que CADD améliore la qualité générative par rapport à la diffusion basée sur le masquage dans la génération de texte, la synthèse d'images et la modélisation de code, avec des gains constants sur les métriques qualitatives et quantitatives par rapport à des bases de référence discrètes solides.

English

Standard discrete diffusion models treat all unobserved states identically by mapping them to an absorbing [MASK] token. This creates an 'information void' where semantic information that could be inferred from unmasked tokens is lost between denoising steps. We introduce Continuously Augmented Discrete Diffusion (CADD), a framework that augments the discrete state space with a paired diffusion in a continuous latent space. This yields graded, gradually corrupted states in which masked tokens are represented by noisy yet informative latent vectors rather than collapsed 'information voids'. At each reverse step, CADD may leverage the continuous latent as a semantic hint to guide discrete denoising. The design is clean and compatible with existing discrete diffusion training. At sampling time, the strength and choice of estimator for the continuous latent vector enables a controlled trade-off between mode-coverage (generating diverse outputs) and mode-seeking (generating contextually precise outputs) behaviors. Empirically, we demonstrate CADD improves generative quality over mask-based diffusion across text generation, image synthesis, and code modeling, with consistent gains on both qualitative and quantitative metrics against strong discrete baselines.