Diskrete Diffusion in großen Sprach- und multimodalen Modellen: Ein Überblick

Discrete Diffusion in Large Language and Multimodal Models: A Survey

June 16, 2025

Autoren: Runpeng Yu, Qi Li, Xinchao Wang

cs.AI

Zusammenfassung

In dieser Arbeit bieten wir eine systematische Übersicht über Discrete Diffusion Language Models (dLLMs) und Discrete Diffusion Multimodal Language Models (dMLLMs). Im Gegensatz zu autoregressiven (AR) Modellen verwenden dLLMs und dMLLMs ein Multi-Token-, paralleles Decoding-Paradigma, das auf vollständiger Aufmerksamkeit und einer denoising-basierten Generationsstrategie beruht. Dieses Paradigma ermöglicht natürlicherweise parallele Generierung, fein abgestimmte Ausgabesteuerung und dynamische, reaktionsbewusste Wahrnehmung. Diese Fähigkeiten waren mit AR-Modellen bisher nur schwer zu erreichen. In jüngster Zeit haben eine wachsende Anzahl von industriellen, proprietären d(M)LLMs sowie eine Vielzahl von Open-Source-Akademie-d(M)LLMs eine Leistung gezeigt, die mit ihren autoregressiven Gegenstücken vergleichbar ist, während sie eine bis zu 10-fache Beschleunigung der Inferenzgeschwindigkeit erreichen. Der Fortschritt von diskreten Diffusions-LLMs und MLLMs wurde maßgeblich durch Entwicklungen in zwei Bereichen vorangetrieben. Der erste ist die Entwicklung von autoregressiven LLMs und MLLMs, die große Mengen an Daten, Benchmarks und grundlegende Infrastruktur für Training und Inferenz angesammelt haben. Der zweite Beitragsbereich ist die Weiterentwicklung der mathematischen Modelle, die der diskreten Diffusion zugrunde liegen. Gemeinsam haben diese Fortschritte einen Anstieg der Forschung zu dLLMs und dMLLMs Anfang 2025 katalysiert. In dieser Arbeit präsentieren wir einen umfassenden Überblick über die Forschung in den Bereichen dLLM und dMLLM. Wir verfolgen die historische Entwicklung von dLLMs und dLLMs, formalisieren die zugrunde liegenden mathematischen Rahmenbedingungen und kategorisieren repräsentative Modelle. Wir analysieren weiterhin Schlüsseltechniken für Training und Inferenz und fassen aufkommende Anwendungen in den Bereichen Sprache, Sprach-Bild und Biologie zusammen. Wir schließen mit einer Diskussion über zukünftige Forschungs- und Einsatzrichtungen. Papersammlung: https://github.com/LiQiiiii/DLLM-Survey

English

In this work, we provide a systematic survey of Discrete Diffusion Language Models (dLLMs) and Discrete Diffusion Multimodal Language Models (dMLLMs). Unlike autoregressive (AR) models, dLLMs and dMLLMs adopt a multi-token, parallel decoding paradigm using full attention and a denoising-based generation strategy. This paradigm naturally enables parallel generation, fine-grained output controllability, and dynamic, response-aware perception. These capabilities are previously difficult to achieve with AR models. Recently, a growing number of industrial-scale proprietary d(M)LLMs, as well as a large number of open-source academic d(M)LLMs, have demonstrated performance comparable to their autoregressive counterparts, while achieving up to 10x acceleration in inference speed. The advancement of discrete diffusion LLMs and MLLMs has been largely driven by progress in two domains. The first is the development of autoregressive LLMs and MLLMs, which has accumulated vast amounts of data, benchmarks, and foundational infrastructure for training and inference. The second contributing domain is the evolution of the mathematical models underlying discrete diffusion. Together, these advancements have catalyzed a surge in dLLMs and dMLLMs research in early 2025. In this work, we present a comprehensive overview of the research in the dLLM and dMLLM domains. We trace the historical development of dLLMs and dMLLMs, formalize the underlying mathematical frameworks, and categorize representative models. We further analyze key techniques for training and inference, and summarize emerging applications across language, vision-language, and biological domains. We conclude by discussing future directions for research and deployment. Paper collection: https://github.com/LiQiiiii/DLLM-Survey