Modello di Diffusione Discreta Continuamente Aumentata per la Modellazione Generativa Categorica

Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling

October 1, 2025

Autori: Huangjie Zheng, Shansan Gong, Ruixiang Zhang, Tianrong Chen, Jiatao Gu, Mingyuan Zhou, Navdeep Jaitly, Yizhe Zhang

cs.AI

Abstract

I modelli di diffusione discreta standard trattano tutti gli stati non osservati in modo identico, mappandoli su un token assorbente [MASK]. Ciò crea un "vuoto informativo" in cui le informazioni semantiche che potrebbero essere dedotte dai token non mascherati vengono perse tra i passaggi di denoising. Introduciamo Continuously Augmented Discrete Diffusion (CADD), un framework che arricchisce lo spazio degli stati discreti con una diffusione accoppiata in uno spazio latente continuo. Ciò produce stati graduali e progressivamente corrotti in cui i token mascherati sono rappresentati da vettori latenti rumorosi ma informativi, anziché da "vuoti informativi" collassati. Ad ogni passo inverso, CADD può sfruttare il latente continuo come suggerimento semantico per guidare il denoising discreto. Il design è pulito e compatibile con l'addestramento esistente della diffusione discreta. Durante il campionamento, la forza e la scelta dello stimatore per il vettore latente continuo consentono un compromesso controllato tra comportamenti di copertura dei modi (generazione di output diversificati) e ricerca dei modi (generazione di output contestualmente precisi). Empiricamente, dimostriamo che CADD migliora la qualità generativa rispetto alla diffusione basata su maschere in generazione di testo, sintesi di immagini e modellazione di codice, con guadagni consistenti su metriche sia qualitative che quantitative rispetto a baseline discrete solide.

English

Standard discrete diffusion models treat all unobserved states identically by mapping them to an absorbing [MASK] token. This creates an 'information void' where semantic information that could be inferred from unmasked tokens is lost between denoising steps. We introduce Continuously Augmented Discrete Diffusion (CADD), a framework that augments the discrete state space with a paired diffusion in a continuous latent space. This yields graded, gradually corrupted states in which masked tokens are represented by noisy yet informative latent vectors rather than collapsed 'information voids'. At each reverse step, CADD may leverage the continuous latent as a semantic hint to guide discrete denoising. The design is clean and compatible with existing discrete diffusion training. At sampling time, the strength and choice of estimator for the continuous latent vector enables a controlled trade-off between mode-coverage (generating diverse outputs) and mode-seeking (generating contextually precise outputs) behaviors. Empirically, we demonstrate CADD improves generative quality over mask-based diffusion across text generation, image synthesis, and code modeling, with consistent gains on both qualitative and quantitative metrics against strong discrete baselines.