Sobre el Rol de la Discretización en los Modelos de Lenguaje de Difusión

On the Role of Discreteness in Diffusion LLMs

December 27, 2025

Autores: Ziqi Jin, Bin Wang, Xiang Lin, Lidong Bing, Aixin Sun

cs.AI

Resumen

Los modelos de difusión ofrecen propiedades atractivas para la generación de lenguaje, como la decodificación paralela y el refinamiento iterativo, pero la naturaleza discreta y altamente estructurada del texto desafía la aplicación directa de los principios de difusión. En este artículo, revisitamos el modelado de lenguaje por difusión desde la perspectiva del proceso de difusión y el modelado del lenguaje, y delineamos cinco propiedades que separan la mecánica de difusión de los requisitos específicos del lenguaje. Primero categorizamos los enfoques existentes en difusión continua en el espacio de embeddings y difusión discreta sobre tokens. Luego demostramos que cada uno satisface solo parte de las cinco propiedades esenciales y, por lo tanto, refleja un equilibrio estructural. Mediante análisis de modelos de lenguaje por difusión recientes y a gran escala, identificamos dos problemas centrales: (i) la corrupción uniforme no respeta cómo se distribuye la información entre las posiciones, y (ii) el entrenamiento marginal token-wise no puede capturar dependencias multi-token durante la decodificación paralela. Estas observaciones motivan procesos de difusión que se alineen más estrechamente con la estructura del texto, e incentivan trabajos futuros hacia modelos de lenguaje por difusión más coherentes.

English

Diffusion models offer appealing properties for language generation, such as parallel decoding and iterative refinement, but the discrete and highly structured nature of text challenges the direct application of diffusion principles. In this paper, we revisit diffusion language modeling from the view of diffusion process and language modeling, and outline five properties that separate diffusion mechanics from language-specific requirements. We first categorize existing approaches into continuous diffusion in embedding space and discrete diffusion over tokens. We then show that each satisfies only part of the five essential properties and therefore reflects a structural trade-off. Through analyses of recent large diffusion language models, we identify two central issues: (i) uniform corruption does not respect how information is distributed across positions, and (ii) token-wise marginal training cannot capture multi-token dependencies during parallel decoding. These observations motivate diffusion processes that align more closely with the structure of text, and encourage future work toward more coherent diffusion language models.