Diskrete Diffusionsmodelle: Ein vereinheitlichtes Rahmenwerk von der Tokenisierung zur Generierung

Zusammenfassung

Diskrete Denoising-Diffusionsmodelle (DDMs) haben sich kürzlich als überzeugende Alternative zur autoregressiven (AR) Modellierung für diskrete Daten erwiesen, da sie Parallelgenerierung und iterative globale Verfeinerung ermöglichen. Im Gegensatz zur kontinuierlichen Diffusion, bei der der Zustandsraum festgelegt ist, wird die Ausgestaltung von DDMs grundlegend durch die Konstruktion des zugrundeliegenden diskreten Zustandsraums bestimmt: das Tokenisierungsschema, die Vokabular-Topologie und domänenspezifische strukturelle Alphabete. Diese Arbeit führt einen einheitlichen konzeptionellen Rahmen ein, der diskrete Diffusionsmodelle durch die Konstruktion des zugrundeliegenden diskreten Zustandsraums betrachtet. Innerhalb dieses Rahmens erscheinen bestehende Formulierungen – darunter Übergangsmatrix-, Maskierungs-/Absorptionszustands- und Score-/Ratio-basierte Ansätze – als unterschiedliche Ausprägungen eines gemeinsamen Designraums. Der Rahmen legt zudem gemeinsame Designabwägungen hinsichtlich Trainingszielen, Inferenzalgorithmen, Skalierungsverhalten, Systemoptimierung und Evaluationsprotokollen offen und schlägt mehrere vielversprechende Richtungen für zukünftige Forschung vor.

English

Discrete denoising diffusion models (DDMs) have recently emerged as a compelling alternative to autoregressive (AR) modeling for discrete data, offering parallel generation and iterative global refinement capabilities. Unlike continuous diffusion, where the state space is fixed, DDMs are fundamentally shaped by how the discrete state space is constructed: the tokenization scheme, the vocabulary topology, and domain-specific structural alphabets. This work introduces a unified conceptual framework that views discrete diffusion models through the construction of the underlying discrete state space. Within this framework, existing formulations, including transition-matrix, masking/absorbing-state, and score/ratio-based approaches, emerge as different instantiations of a common design space. The framework further exposes common design trade-offs across training objectives, inference algorithms, scaling behavior, systems optimization, and evaluation protocols, suggesting several promising directions for future research.