Дискретная диффузия в крупных языковых и мультимодальных моделях: обзор

Discrete Diffusion in Large Language and Multimodal Models: A Survey

June 16, 2025

Авторы: Runpeng Yu, Qi Li, Xinchao Wang

cs.AI

Аннотация

В данной работе мы представляем систематический обзор дискретных диффузионных языковых моделей (dLLMs) и дискретных диффузионных мультимодальных языковых моделей (dMLLMs). В отличие от авторегрессивных (AR) моделей, dLLMs и dMLLMs используют многотокеновый параллельный подход к декодированию, основанный на полном внимании и стратегии генерации через удаление шума. Этот подход естественным образом обеспечивает параллельную генерацию, детализированный контроль над выходными данными и динамическое, контекстно-зависимое восприятие. Эти возможности ранее было сложно достичь с помощью AR-моделей. В последнее время всё больше промышленных проприетарных d(M)LLMs, а также множество открытых академических d(M)LLMs продемонстрировали производительность, сопоставимую с их авторегрессивными аналогами, при этом достигая ускорения скорости вывода до 10 раз. Прогресс в области дискретных диффузионных LLMs и MLLMs во многом обусловлен достижениями в двух направлениях. Первое — это развитие авторегрессивных LLMs и MLLMs, которые накопили огромные объёмы данных, бенчмарков и базовой инфраструктуры для обучения и вывода. Второе направление — это эволюция математических моделей, лежащих в основе дискретной диффузии. Вместе эти достижения стимулировали всплеск исследований в области dLLMs и dMLLMs в начале 2025 года. В данной работе мы предлагаем всесторонний обзор исследований в областях dLLM и dMLLM. Мы прослеживаем историческое развитие dLLMs и dMLLMs, формализуем лежащие в их основе математические рамки и классифицируем репрезентативные модели. Кроме того, мы анализируем ключевые методы обучения и вывода, а также суммируем новые приложения в языковых, визуально-языковых и биологических областях. В заключение мы обсуждаем перспективные направления для дальнейших исследований и внедрения. Коллекция статей: https://github.com/LiQiiiii/DLLM-Survey

English

In this work, we provide a systematic survey of Discrete Diffusion Language Models (dLLMs) and Discrete Diffusion Multimodal Language Models (dMLLMs). Unlike autoregressive (AR) models, dLLMs and dMLLMs adopt a multi-token, parallel decoding paradigm using full attention and a denoising-based generation strategy. This paradigm naturally enables parallel generation, fine-grained output controllability, and dynamic, response-aware perception. These capabilities are previously difficult to achieve with AR models. Recently, a growing number of industrial-scale proprietary d(M)LLMs, as well as a large number of open-source academic d(M)LLMs, have demonstrated performance comparable to their autoregressive counterparts, while achieving up to 10x acceleration in inference speed. The advancement of discrete diffusion LLMs and MLLMs has been largely driven by progress in two domains. The first is the development of autoregressive LLMs and MLLMs, which has accumulated vast amounts of data, benchmarks, and foundational infrastructure for training and inference. The second contributing domain is the evolution of the mathematical models underlying discrete diffusion. Together, these advancements have catalyzed a surge in dLLMs and dMLLMs research in early 2025. In this work, we present a comprehensive overview of the research in the dLLM and dMLLM domains. We trace the historical development of dLLMs and dMLLMs, formalize the underlying mathematical frameworks, and categorize representative models. We further analyze key techniques for training and inference, and summarize emerging applications across language, vision-language, and biological domains. We conclude by discussing future directions for research and deployment. Paper collection: https://github.com/LiQiiiii/DLLM-Survey