Difusión Discreta en Modelos de Lenguaje de Gran Escala y Multimodales: Una Revisión

Discrete Diffusion in Large Language and Multimodal Models: A Survey

June 16, 2025

Autores: Runpeng Yu, Qi Li, Xinchao Wang

cs.AI

Resumen

En este trabajo, proporcionamos una revisión sistemática de los Modelos de Lenguaje de Difusión Discreta (dLLMs, por sus siglas en inglés) y los Modelos de Lenguaje Multimodal de Difusión Discreta (dMLLMs). A diferencia de los modelos autorregresivos (AR), los dLLMs y dMLLMs adoptan un paradigma de decodificación paralela de múltiples tokens, utilizando atención completa y una estrategia de generación basada en la eliminación de ruido. Este paradigma permite de manera natural la generación paralela, un control detallado de la salida y una percepción dinámica y consciente de la respuesta. Estas capacidades eran difíciles de lograr con los modelos AR. Recientemente, un número creciente de d(M)LLMs propietarios a escala industrial, así como una gran cantidad de d(M)LLMs académicos de código abierto, han demostrado un rendimiento comparable al de sus contrapartes autorregresivas, logrando una aceleración de hasta 10 veces en la velocidad de inferencia. El avance de los dLLMs y dMLLMs de difusión discreta ha sido impulsado en gran medida por el progreso en dos dominios. El primero es el desarrollo de los dLLMs y dMLLMs autorregresivos, que ha acumulado grandes cantidades de datos, puntos de referencia e infraestructura fundamental para el entrenamiento y la inferencia. El segundo dominio contribuyente es la evolución de los modelos matemáticos subyacentes a la difusión discreta. Juntos, estos avances han catalizado un aumento en la investigación de dLLMs y dMLLMs a principios de 2025. En este trabajo, presentamos una visión general exhaustiva de la investigación en los dominios de los dLLMs y dMLLMs. Rastreamos el desarrollo histórico de los dLLMs y dMLLMs, formalizamos los marcos matemáticos subyacentes y categorizamos los modelos representativos. Además, analizamos las técnicas clave para el entrenamiento y la inferencia, y resumimos las aplicaciones emergentes en los dominios del lenguaje, lenguaje-visión y biología. Concluimos discutiendo las direcciones futuras para la investigación y la implementación. Colección de artículos: https://github.com/LiQiiiii/DLLM-Survey

English

In this work, we provide a systematic survey of Discrete Diffusion Language Models (dLLMs) and Discrete Diffusion Multimodal Language Models (dMLLMs). Unlike autoregressive (AR) models, dLLMs and dMLLMs adopt a multi-token, parallel decoding paradigm using full attention and a denoising-based generation strategy. This paradigm naturally enables parallel generation, fine-grained output controllability, and dynamic, response-aware perception. These capabilities are previously difficult to achieve with AR models. Recently, a growing number of industrial-scale proprietary d(M)LLMs, as well as a large number of open-source academic d(M)LLMs, have demonstrated performance comparable to their autoregressive counterparts, while achieving up to 10x acceleration in inference speed. The advancement of discrete diffusion LLMs and MLLMs has been largely driven by progress in two domains. The first is the development of autoregressive LLMs and MLLMs, which has accumulated vast amounts of data, benchmarks, and foundational infrastructure for training and inference. The second contributing domain is the evolution of the mathematical models underlying discrete diffusion. Together, these advancements have catalyzed a surge in dLLMs and dMLLMs research in early 2025. In this work, we present a comprehensive overview of the research in the dLLM and dMLLM domains. We trace the historical development of dLLMs and dMLLMs, formalize the underlying mathematical frameworks, and categorize representative models. We further analyze key techniques for training and inference, and summarize emerging applications across language, vision-language, and biological domains. We conclude by discussing future directions for research and deployment. Paper collection: https://github.com/LiQiiiii/DLLM-Survey