Kontinuierlich erweiterter diskreter Diffusionsmodell für kategoriale generative Modellierung

Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling

October 1, 2025

papers.authors: Huangjie Zheng, Shansan Gong, Ruixiang Zhang, Tianrong Chen, Jiatao Gu, Mingyuan Zhou, Navdeep Jaitly, Yizhe Zhang

cs.AI

papers.abstract

Standard diskrete Diffusionsmodelle behandeln alle unbeobachteten Zustände identisch, indem sie sie auf ein absorbierendes [MASK]-Token abbilden. Dies erzeugt eine „Informationslücke“, in der semantische Informationen, die aus ungemaskten Tokens abgeleitet werden könnten, zwischen den Denoising-Schritten verloren gehen. Wir stellen Continuously Augmented Discrete Diffusion (CADD) vor, ein Framework, das den diskreten Zustandsraum durch eine gekoppelte Diffusion in einem kontinuierlichen latenten Raum erweitert. Dies führt zu abgestuften, schrittweise korrumpierten Zuständen, in denen maskierte Tokens durch verrauschte, aber informative latente Vektoren anstelle von kollabierten „Informationslücken“ dargestellt werden. Bei jedem Rückwärtsschritt kann CADD den kontinuierlichen latenten Raum als semantischen Hinweis nutzen, um das diskrete Denoising zu steuern. Das Design ist klar und kompatibel mit bestehenden Trainingsmethoden für diskrete Diffusion. Zum Zeitpunkt der Stichprobenentnahme ermöglichen die Stärke und die Wahl des Schätzers für den kontinuierlichen latenten Vektor einen kontrollierten Kompromiss zwischen Modus-Abdeckung (Erzeugung vielfältiger Ausgaben) und Modus-Suche (Erzeugung kontextuell präziser Ausgaben). Empirisch zeigen wir, dass CADD die generative Qualität gegenüber maskenbasierten Diffusionsmodellen in den Bereichen Textgenerierung, Bildsynthese und Codemodellierung verbessert, mit konsistenten Gewinnen sowohl in qualitativen als auch in quantitativen Metriken im Vergleich zu starken diskreten Baselines.

English

Standard discrete diffusion models treat all unobserved states identically by mapping them to an absorbing [MASK] token. This creates an 'information void' where semantic information that could be inferred from unmasked tokens is lost between denoising steps. We introduce Continuously Augmented Discrete Diffusion (CADD), a framework that augments the discrete state space with a paired diffusion in a continuous latent space. This yields graded, gradually corrupted states in which masked tokens are represented by noisy yet informative latent vectors rather than collapsed 'information voids'. At each reverse step, CADD may leverage the continuous latent as a semantic hint to guide discrete denoising. The design is clean and compatible with existing discrete diffusion training. At sampling time, the strength and choice of estimator for the continuous latent vector enables a controlled trade-off between mode-coverage (generating diverse outputs) and mode-seeking (generating contextually precise outputs) behaviors. Empirically, we demonstrate CADD improves generative quality over mask-based diffusion across text generation, image synthesis, and code modeling, with consistent gains on both qualitative and quantitative metrics against strong discrete baselines.