Continuously Verbeterd Discreet Diffusiemodel voor Categorische Generatieve Modellering

Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling

October 1, 2025

Auteurs: Huangjie Zheng, Shansan Gong, Ruixiang Zhang, Tianrong Chen, Jiatao Gu, Mingyuan Zhou, Navdeep Jaitly, Yizhe Zhang

cs.AI

Samenvatting

Standaard discrete diffusiemodellen behandelen alle niet-geobserveerde toestanden identiek door ze af te beelden op een absorberend [MASK]-token. Dit creëert een 'informatieleegte' waarbij semantische informatie die afgeleid zou kunnen worden uit niet-gemaskeerde tokens verloren gaat tussen de denoisingsstappen. Wij introduceren Continuously Augmented Discrete Diffusion (CADD), een raamwerk dat de discrete toestandsruimte verrijkt met een gekoppelde diffusie in een continue latente ruimte. Dit resulteert in gradueel gecorrumpeerde toestanden waarin gemaskeerde tokens worden gerepresenteerd door ruisachtige maar informatieve latente vectoren in plaats van ingestorte 'informatieleegtes'. Bij elke omgekeerde stap kan CADD de continue latente ruimte gebruiken als een semantische hint om het discrete denoising te begeleiden. Het ontwerp is eenvoudig en compatibel met bestaande training van discrete diffusie. Tijdens het samplingproces maakt de sterkte en keuze van de schatter voor de continue latente vector een gecontroleerde afweging mogelijk tussen mode-coverage (het genereren van diverse uitvoer) en mode-seeking (het genereren van contextueel precieze uitvoer) gedrag. Empirisch tonen we aan dat CADD de generatieve kwaliteit verbetert ten opzichte van masker-gebaseerde diffusie bij tekstgeneratie, beeld-synthese en codemodellering, met consistente verbeteringen op zowel kwalitatieve als kwantitatieve metrieken ten opzichte van sterke discrete basislijnen.

English

Standard discrete diffusion models treat all unobserved states identically by mapping them to an absorbing [MASK] token. This creates an 'information void' where semantic information that could be inferred from unmasked tokens is lost between denoising steps. We introduce Continuously Augmented Discrete Diffusion (CADD), a framework that augments the discrete state space with a paired diffusion in a continuous latent space. This yields graded, gradually corrupted states in which masked tokens are represented by noisy yet informative latent vectors rather than collapsed 'information voids'. At each reverse step, CADD may leverage the continuous latent as a semantic hint to guide discrete denoising. The design is clean and compatible with existing discrete diffusion training. At sampling time, the strength and choice of estimator for the continuous latent vector enables a controlled trade-off between mode-coverage (generating diverse outputs) and mode-seeking (generating contextually precise outputs) behaviors. Empirically, we demonstrate CADD improves generative quality over mask-based diffusion across text generation, image synthesis, and code modeling, with consistent gains on both qualitative and quantitative metrics against strong discrete baselines.