Algemene Discrete Diffusie vanuit Momentopnames

Samenvatting

Wij introduceren Generalized Discrete Diffusion from Snapshots (GDDS), een uniform raamwerk voor discrete diffusiemodellering dat willekeurige verstorende processen over grote discrete toestandsruimten ondersteunt. Onze formulering omvat alle bestaande discrete diffusiebenaderingen, terwijl het aanzienlijk meer flexibiliteit biedt in de keuze van corruptiedynamica. Het voorwaartse verstorende proces steunt op uniformisatie en maakt snelle willekeurige corruptie mogelijk. Voor het omgekeerde proces leiden we een eenvoudige evidence lower bound (ELBO) af, gebaseerd op momentopname-latente variabelen in plaats van het gehele verstorende pad, die efficiënte training van standaard generatieve modelarchitecturen mogelijk maakt met een duidelijke probabilistische interpretatie. Onze experimenten met discrete generatietaken met een grote woordenschat tonen aan dat het voorgestelde raamwerk de bestaande discrete diffusiemethoden overtreft wat betreft trainings efficiëntie en generatiekwaliteit, en voor het eerst op deze schaal autoregressieve modellen verslaat. Wij stellen de code beschikbaar samen met een blogpost op de projectpagina: https://oussamazekri.fr/gdds.

English

We introduce Generalized Discrete Diffusion from Snapshots (GDDS), a unified framework for discrete diffusion modeling that supports arbitrary noising processes over large discrete state spaces. Our formulation encompasses all existing discrete diffusion approaches, while allowing significantly greater flexibility in the choice of corruption dynamics. The forward noising process relies on uniformization and enables fast arbitrary corruption. For the reverse process, we derive a simple evidence lower bound (ELBO) based on snapshot latents, instead of the entire noising path, that allows efficient training of standard generative modeling architectures with clear probabilistic interpretation. Our experiments on large-vocabulary discrete generation tasks suggest that the proposed framework outperforms existing discrete diffusion methods in terms of training efficiency and generation quality, and beats autoregressive models for the first time at this scale. We provide the code along with a blog post on the project page : https://oussamazekri.fr/gdds{https://oussamazekri.fr/gdds}.