Diffusione Discreta nei Modelli Linguistici e Multimodali di Grande Scala: Una Rassegna

Discrete Diffusion in Large Language and Multimodal Models: A Survey

June 16, 2025

Autori: Runpeng Yu, Qi Li, Xinchao Wang

cs.AI

Abstract

In questo lavoro, forniamo una revisione sistematica dei Modelli Linguistici a Diffusione Discreta (dLLM) e dei Modelli Linguistici Multimodali a Diffusione Discreta (dMLLM). A differenza dei modelli autoregressivi (AR), i dLLM e i dMLLM adottano un paradigma di decodifica parallela multi-token, utilizzando l'attenzione completa e una strategia di generazione basata sulla rimozione del rumore. Questo paradigma consente naturalmente la generazione parallela, la controllabilità fine-grana dell'output e una percezione dinamica e consapevole della risposta. Queste capacità erano precedentemente difficili da ottenere con i modelli AR. Recentemente, un numero crescente di d(M)LLM proprietari su scala industriale, così come un gran numero di d(M)LLM open-source accademici, hanno dimostrato prestazioni comparabili alle loro controparti autoregressive, raggiungendo un'accelerazione fino a 10x nella velocità di inferenza. L'avanzamento dei dLLM e dMLLM a diffusione discreta è stato largamente guidato dai progressi in due ambiti. Il primo è lo sviluppo dei modelli linguistici autoregressivi (AR) e multimodali (MLLM), che ha accumulato grandi quantità di dati, benchmark e infrastrutture di base per l'addestramento e l'inferenza. Il secondo ambito contribuente è l'evoluzione dei modelli matematici sottostanti alla diffusione discreta. Insieme, questi progressi hanno catalizzato un'impennata nella ricerca sui dLLM e dMLLM all'inizio del 2025. In questo lavoro, presentiamo una panoramica completa della ricerca nei domini dei dLLM e dMLLM. Tracciamo lo sviluppo storico dei dLLM e dMLLM, formalizziamo i framework matematici sottostanti e categorizziamo i modelli rappresentativi. Analizziamo ulteriormente le tecniche chiave per l'addestramento e l'inferenza e riassumiamo le applicazioni emergenti nei domini linguistici, visione-linguaggio e biologici. Concludiamo discutendo le future direzioni per la ricerca e il dispiegamento. Raccolta dei paper: https://github.com/LiQiiiii/DLLM-Survey

English

In this work, we provide a systematic survey of Discrete Diffusion Language Models (dLLMs) and Discrete Diffusion Multimodal Language Models (dMLLMs). Unlike autoregressive (AR) models, dLLMs and dMLLMs adopt a multi-token, parallel decoding paradigm using full attention and a denoising-based generation strategy. This paradigm naturally enables parallel generation, fine-grained output controllability, and dynamic, response-aware perception. These capabilities are previously difficult to achieve with AR models. Recently, a growing number of industrial-scale proprietary d(M)LLMs, as well as a large number of open-source academic d(M)LLMs, have demonstrated performance comparable to their autoregressive counterparts, while achieving up to 10x acceleration in inference speed. The advancement of discrete diffusion LLMs and MLLMs has been largely driven by progress in two domains. The first is the development of autoregressive LLMs and MLLMs, which has accumulated vast amounts of data, benchmarks, and foundational infrastructure for training and inference. The second contributing domain is the evolution of the mathematical models underlying discrete diffusion. Together, these advancements have catalyzed a surge in dLLMs and dMLLMs research in early 2025. In this work, we present a comprehensive overview of the research in the dLLM and dMLLM domains. We trace the historical development of dLLMs and dMLLMs, formalize the underlying mathematical frameworks, and categorize representative models. We further analyze key techniques for training and inference, and summarize emerging applications across language, vision-language, and biological domains. We conclude by discussing future directions for research and deployment. Paper collection: https://github.com/LiQiiiii/DLLM-Survey