Modelos de Difusão Discretos: Uma Estrutura Unificada da Tokenização à Geração

Resumo

Modelos de difusão de desruído discreto (DDMs) surgiram recentemente como uma alternativa convincente à modelagem autorregressiva (AR) para dados discretos, oferecendo capacidades de geração paralela e refinamento global iterativo. Diferentemente da difusão contínua, onde o espaço de estados é fixo, os DDMs são fundamentalmente moldados pela forma como o espaço de estados discreto é construído: o esquema de tokenização, a topologia do vocabulário e os alfabetos estruturais específicos do domínio. Este trabalho introduz um arcabouço conceitual unificado que vê os modelos de difusão discreta através da construção do espaço de estados discreto subjacente. Dentro desse arcabouço, formulações existentes, incluindo abordagens baseadas em matriz de transição, mascaramento/estado absorvente e pontuação/razão, emergem como diferentes instanciações de um espaço de design comum. O arcabouço ainda expõe compromissos de design típicos entre objetivos de treinamento, algoritmos de inferência, comportamento de escalonamento, otimização de sistemas e protocolos de avaliação, sugerindo várias direções promissoras para pesquisas futuras.

English

Discrete denoising diffusion models (DDMs) have recently emerged as a compelling alternative to autoregressive (AR) modeling for discrete data, offering parallel generation and iterative global refinement capabilities. Unlike continuous diffusion, where the state space is fixed, DDMs are fundamentally shaped by how the discrete state space is constructed: the tokenization scheme, the vocabulary topology, and domain-specific structural alphabets. This work introduces a unified conceptual framework that views discrete diffusion models through the construction of the underlying discrete state space. Within this framework, existing formulations, including transition-matrix, masking/absorbing-state, and score/ratio-based approaches, emerge as different instantiations of a common design space. The framework further exposes common design trade-offs across training objectives, inference algorithms, scaling behavior, systems optimization, and evaluation protocols, suggesting several promising directions for future research.