Modelos de Difusión Discretos: Un Marco Unificado desde la Tokenización hasta la Generación

Resumen

Los modelos de difusión discreta de eliminación de ruido (DDM) han surgido recientemente como una alternativa convincente al modelado autorregresivo (AR) para datos discretos, ofreciendo capacidades de generación paralela y refinamiento global iterativo. A diferencia de la difusión continua, donde el espacio de estados es fijo, los DDM se ven fundamentalmente moldeados por la forma en que se construye el espacio de estados discretos: el esquema de tokenización, la topología del vocabulario y los alfabetos estructurales específicos del dominio. Este trabajo introduce un marco conceptual unificado que considera los modelos de difusión discreta a través de la construcción del espacio de estados discretos subyacente. Dentro de este marco, las formulaciones existentes, incluidos los enfoques basados en matrices de transición, enmascaramiento/estados absorbentes y puntuaciones/cocientes, emergen como diferentes instanciaciones de un espacio de diseño común. El marco expone además las compensaciones de diseño habituales entre los objetivos de entrenamiento, los algoritmos de inferencia, el comportamiento de escalado, la optimización de sistemas y los protocolos de evaluación, sugiriendo varias direcciones prometedoras para futuras investigaciones.

English

Discrete denoising diffusion models (DDMs) have recently emerged as a compelling alternative to autoregressive (AR) modeling for discrete data, offering parallel generation and iterative global refinement capabilities. Unlike continuous diffusion, where the state space is fixed, DDMs are fundamentally shaped by how the discrete state space is constructed: the tokenization scheme, the vocabulary topology, and domain-specific structural alphabets. This work introduces a unified conceptual framework that views discrete diffusion models through the construction of the underlying discrete state space. Within this framework, existing formulations, including transition-matrix, masking/absorbing-state, and score/ratio-based approaches, emerge as different instantiations of a common design space. The framework further exposes common design trade-offs across training objectives, inference algorithms, scaling behavior, systems optimization, and evaluation protocols, suggesting several promising directions for future research.