Discrete diffusiemodellen: Een uniform raamwerk van tokenisatie tot generatie

Samenvatting

Discrete denoising diffusiemodellen (DDM’s) zijn recentelijk naar voren gekomen als een overtuigend alternatief voor autoregressieve (AR) modellering voor discrete data, met mogelijkheden voor parallelle generatie en iteratieve globale verfijning. In tegenstelling tot continue diffusie, waar de toestandsruimte vastligt, worden DDM’s fundamenteel bepaald door de wijze waarop de discrete toestandsruimte wordt geconstrueerd: het tokenisatieschema, de vocabulariumtopologie en domeinspecifieke structurele alfabetten. Dit werk introduceert een verenigd conceptueel kader dat discrete diffusiemodellen beschouwt door de lens van de constructie van de onderliggende discrete toestandsruimte. Binnen dit kader blijken bestaande formuleringen, waaronder op overgangsmatrix, maskerende/absorberende toestand en score/ratio gebaseerde benaderingen, verschillende invullingen te zijn van een gemeenschappelijke ontwerpruimte. Het kader legt verder gangbare ontwerpafwegingen bloot op het gebied van trainingsdoelstellingen, inferentie-algoritmen, schaalgedrag, systeemoptimalisatie en evaluatieprotocollen, wat wijst op verschillende veelbelovende richtingen voor toekomstig onderzoek.

English

Discrete denoising diffusion models (DDMs) have recently emerged as a compelling alternative to autoregressive (AR) modeling for discrete data, offering parallel generation and iterative global refinement capabilities. Unlike continuous diffusion, where the state space is fixed, DDMs are fundamentally shaped by how the discrete state space is constructed: the tokenization scheme, the vocabulary topology, and domain-specific structural alphabets. This work introduces a unified conceptual framework that views discrete diffusion models through the construction of the underlying discrete state space. Within this framework, existing formulations, including transition-matrix, masking/absorbing-state, and score/ratio-based approaches, emerge as different instantiations of a common design space. The framework further exposes common design trade-offs across training objectives, inference algorithms, scaling behavior, systems optimization, and evaluation protocols, suggesting several promising directions for future research.