Discrete Diffusie in Grote Taal- en Multimodale Modellen: Een Overzicht

Discrete Diffusion in Large Language and Multimodal Models: A Survey

June 16, 2025

Auteurs: Runpeng Yu, Qi Li, Xinchao Wang

cs.AI

Samenvatting

In dit werk bieden we een systematisch overzicht van Discrete Diffusion Language Models (dLLMs) en Discrete Diffusion Multimodal Language Models (dMLLMs). In tegenstelling tot autoregressieve (AR) modellen, hanteren dLLMs en dMLLMs een multi-token, parallel decodeerparadigma met volledige aandacht en een op ruisreductie gebaseerde generatiestrategie. Dit paradigma maakt van nature parallelle generatie, fijnmazige uitvoercontrole en dynamische, responsbewuste perceptie mogelijk. Deze mogelijkheden waren voorheen moeilijk te realiseren met AR-modellen. Recentelijk hebben een groeiend aantal industriële, propriëtaire d(M)LLMs, evenals een groot aantal open-source academische d(M)LLMs, prestaties laten zien die vergelijkbaar zijn met hun autoregressieve tegenhangers, terwijl ze tot 10x versnelling in inferentiesnelheid bereiken. De vooruitgang van discrete diffusion LLMs en MLLMs is grotendeels gedreven door ontwikkelingen in twee domeinen. Het eerste is de ontwikkeling van autoregressieve LLMs en MLLMs, die enorme hoeveelheden data, benchmarks en fundamentele infrastructuur voor training en inferentie hebben opgeleverd. Het tweede bijdragende domein is de evolutie van de wiskundige modellen die ten grondslag liggen aan discrete diffusie. Samen hebben deze vooruitgangen een golf van onderzoek naar dLLMs en dMLLMs in begin 2025 veroorzaakt. In dit werk presenteren we een uitgebreid overzicht van het onderzoek in de dLLM- en dMLLM-domeinen. We volgen de historische ontwikkeling van dLLMs en dMLLMs, formaliseren de onderliggende wiskundige kaders en categoriseren representatieve modellen. We analyseren verder belangrijke technieken voor training en inferentie en vatten opkomende toepassingen samen op het gebied van taal, visie-taal en biologische domeinen. We sluiten af met een bespreking van toekomstige onderzoeks- en implementatierichtingen. Paperverzameling: https://github.com/LiQiiiii/DLLM-Survey

English

In this work, we provide a systematic survey of Discrete Diffusion Language Models (dLLMs) and Discrete Diffusion Multimodal Language Models (dMLLMs). Unlike autoregressive (AR) models, dLLMs and dMLLMs adopt a multi-token, parallel decoding paradigm using full attention and a denoising-based generation strategy. This paradigm naturally enables parallel generation, fine-grained output controllability, and dynamic, response-aware perception. These capabilities are previously difficult to achieve with AR models. Recently, a growing number of industrial-scale proprietary d(M)LLMs, as well as a large number of open-source academic d(M)LLMs, have demonstrated performance comparable to their autoregressive counterparts, while achieving up to 10x acceleration in inference speed. The advancement of discrete diffusion LLMs and MLLMs has been largely driven by progress in two domains. The first is the development of autoregressive LLMs and MLLMs, which has accumulated vast amounts of data, benchmarks, and foundational infrastructure for training and inference. The second contributing domain is the evolution of the mathematical models underlying discrete diffusion. Together, these advancements have catalyzed a surge in dLLMs and dMLLMs research in early 2025. In this work, we present a comprehensive overview of the research in the dLLM and dMLLM domains. We trace the historical development of dLLMs and dMLLMs, formalize the underlying mathematical frameworks, and categorize representative models. We further analyze key techniques for training and inference, and summarize emerging applications across language, vision-language, and biological domains. We conclude by discussing future directions for research and deployment. Paper collection: https://github.com/LiQiiiii/DLLM-Survey