Modèles de Diffusion Discrets : Un Cadre Unifié de la Tokenisation à la Génération

Résumé

Les modèles de diffusion avec débruitage discret (DDMs) sont récemment apparus comme une alternative convaincante à la modélisation autorégressive (AR) pour les données discrètes, offrant des capacités de génération parallèle et de raffinement global itératif. Contrairement à la diffusion continue, où l'espace d'états est fixe, les DDMs sont fondamentalement façonnés par la manière dont l'espace d'états discret est construit : le schéma de tokenisation, la topologie du vocabulaire et les alphabets structurels spécifiques au domaine. Ce travail introduit un cadre conceptuel unifié qui envisage les modèles de diffusion discrets à travers la construction de l'espace d'états discret sous-jacent. Dans ce cadre, les formulations existantes, y compris les approches basées sur les matrices de transition, les états masqués/absorbants et les approches fondées sur les scores/ratios, apparaissent comme différentes instanciations d'un espace de conception commun. Le cadre expose en outre des compromis de conception communs à travers les objectifs d'entraînement, les algorithmes d'inférence, le comportement de passage à l'échelle, l'optimisation des systèmes et les protocoles d'évaluation, suggérant plusieurs directions prometteuses pour les recherches futures.

English

Discrete denoising diffusion models (DDMs) have recently emerged as a compelling alternative to autoregressive (AR) modeling for discrete data, offering parallel generation and iterative global refinement capabilities. Unlike continuous diffusion, where the state space is fixed, DDMs are fundamentally shaped by how the discrete state space is constructed: the tokenization scheme, the vocabulary topology, and domain-specific structural alphabets. This work introduces a unified conceptual framework that views discrete diffusion models through the construction of the underlying discrete state space. Within this framework, existing formulations, including transition-matrix, masking/absorbing-state, and score/ratio-based approaches, emerge as different instantiations of a common design space. The framework further exposes common design trade-offs across training objectives, inference algorithms, scaling behavior, systems optimization, and evaluation protocols, suggesting several promising directions for future research.