Sul Ruolo della Discrezione nei Modelli Linguistici di Diffusione
On the Role of Discreteness in Diffusion LLMs
December 27, 2025
Autori: Ziqi Jin, Bin Wang, Xiang Lin, Lidong Bing, Aixin Sun
cs.AI
Abstract
I modelli di diffusione offrono proprietà attraenti per la generazione del linguaggio, come la decodifica parallela e il raffinamento iterativo, ma la natura discreta e altamente strutturata del testo sfida l'applicazione diretta dei principi di diffusione. In questo articolo, esaminiamo nuovamente la modellazione linguistica basata su diffusione dalla prospettiva del processo diffusivo e della modellazione linguistica, e delineiamo cinque proprietà che separano la meccanica della diffusione dai requisiti specifici del linguaggio. Classifichiamo innanzitutto gli approcci esistenti in diffusione continua nello spazio di embedding e diffusione discreta sui token. Mostriamo poi che ciascuno soddisfa solo parte delle cinque proprietà essenziali e riflette quindi un compromesso strutturale. Attraverso l'analisi di recenti modelli linguistici di diffusione su larga scala, identifichiamo due problemi centrali: (i) la corruzione uniforme non rispetta come le informazioni sono distribuite tra le posizioni, e (ii) l'addestramento marginale per token non può catturare le dipendenze multi-token durante la decodifica parallela. Queste osservazioni motivano processi di diffusione più allineati con la struttura del testo e incoraggiano lavori futuri verso modelli linguistici di diffusione più coerenti.
English
Diffusion models offer appealing properties for language generation, such as parallel decoding and iterative refinement, but the discrete and highly structured nature of text challenges the direct application of diffusion principles. In this paper, we revisit diffusion language modeling from the view of diffusion process and language modeling, and outline five properties that separate diffusion mechanics from language-specific requirements. We first categorize existing approaches into continuous diffusion in embedding space and discrete diffusion over tokens. We then show that each satisfies only part of the five essential properties and therefore reflects a structural trade-off. Through analyses of recent large diffusion language models, we identify two central issues: (i) uniform corruption does not respect how information is distributed across positions, and (ii) token-wise marginal training cannot capture multi-token dependencies during parallel decoding. These observations motivate diffusion processes that align more closely with the structure of text, and encourage future work toward more coherent diffusion language models.