Modelo de Difusión Discreta Continuamente Aumentado para Modelado Generativo Categórico

Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling

October 1, 2025

Autores: Huangjie Zheng, Shansan Gong, Ruixiang Zhang, Tianrong Chen, Jiatao Gu, Mingyuan Zhou, Navdeep Jaitly, Yizhe Zhang

cs.AI

Resumen

Los modelos de difusión discreta estándar tratan todos los estados no observados de manera idéntica, mapeándolos a un token absorbente [MASK]. Esto crea un "vacío de información" donde la información semántica que podría inferirse de los tokens no enmascarados se pierde entre los pasos de eliminación de ruido. Introducimos la Difusión Discreta Continuamente Aumentada (CADD, por sus siglas en inglés), un marco que aumenta el espacio de estados discretos con una difusión emparejada en un espacio latente continuo. Esto produce estados graduales y gradualmente corrompidos en los que los tokens enmascarados se representan mediante vectores latentes ruidosos pero informativos, en lugar de "vacíos de información" colapsados. En cada paso inverso, CADD puede aprovechar el espacio latente continuo como una pista semántica para guiar la eliminación de ruido discreta. El diseño es limpio y compatible con el entrenamiento existente de difusión discreta. Durante el muestreo, la fuerza y la elección del estimador para el vector latente continuo permiten un equilibrio controlado entre comportamientos de cobertura de modos (generar salidas diversas) y búsqueda de modos (generar salidas contextualmente precisas). Empíricamente, demostramos que CADD mejora la calidad generativa en comparación con la difusión basada en enmascaramiento en la generación de texto, síntesis de imágenes y modelado de código, con ganancias consistentes tanto en métricas cualitativas como cuantitativas frente a líneas base discretas sólidas.

English

Standard discrete diffusion models treat all unobserved states identically by mapping them to an absorbing [MASK] token. This creates an 'information void' where semantic information that could be inferred from unmasked tokens is lost between denoising steps. We introduce Continuously Augmented Discrete Diffusion (CADD), a framework that augments the discrete state space with a paired diffusion in a continuous latent space. This yields graded, gradually corrupted states in which masked tokens are represented by noisy yet informative latent vectors rather than collapsed 'information voids'. At each reverse step, CADD may leverage the continuous latent as a semantic hint to guide discrete denoising. The design is clean and compatible with existing discrete diffusion training. At sampling time, the strength and choice of estimator for the continuous latent vector enables a controlled trade-off between mode-coverage (generating diverse outputs) and mode-seeking (generating contextually precise outputs) behaviors. Empirically, we demonstrate CADD improves generative quality over mask-based diffusion across text generation, image synthesis, and code modeling, with consistent gains on both qualitative and quantitative metrics against strong discrete baselines.