Дискретные диффузионные модели: единый фреймворк от токенизации до генерации

Аннотация

Дискретные диффузионные модели шумоподавления (DDM) недавно стали убедительной альтернативой авторегрессионному моделированию для дискретных данных, предлагая возможности параллельной генерации и итеративного глобального уточнения. В отличие от непрерывной диффузии, где пространство состояний фиксировано, DDM принципиально определяются способом построения дискретного пространства состояний: схемой токенизации, топологией словаря и доменно-специфическими структурными алфавитами. В данной работе представлена единая концептуальная рамка, которая рассматривает дискретные диффузионные модели через призму построения лежащего в их основе дискретного пространства состояний. В рамках этой схемы существующие формулировки, включая подходы на основе матрицы переходов, маскирования/поглощающих состояний и скоринга/отношений, предстают как различные реализации общего пространства проектирования. Данная рамка также выявляет общие компромиссы в проектировании между целями обучения, алгоритмами вывода, поведением при масштабировании, оптимизацией систем и протоколами оценки, предлагая несколько перспективных направлений для будущих исследований.

English

Discrete denoising diffusion models (DDMs) have recently emerged as a compelling alternative to autoregressive (AR) modeling for discrete data, offering parallel generation and iterative global refinement capabilities. Unlike continuous diffusion, where the state space is fixed, DDMs are fundamentally shaped by how the discrete state space is constructed: the tokenization scheme, the vocabulary topology, and domain-specific structural alphabets. This work introduces a unified conceptual framework that views discrete diffusion models through the construction of the underlying discrete state space. Within this framework, existing formulations, including transition-matrix, masking/absorbing-state, and score/ratio-based approaches, emerge as different instantiations of a common design space. The framework further exposes common design trade-offs across training objectives, inference algorithms, scaling behavior, systems optimization, and evaluation protocols, suggesting several promising directions for future research.