Dimple: Дискретная диффузионная мультимодальная большая языковая модель с параллельным декодированием

Dimple: Discrete Diffusion Multimodal Large Language Model with Parallel Decoding

May 22, 2025

Авторы: Runpeng Yu, Xinyin Ma, Xinchao Wang

cs.AI

Аннотация

В данной работе мы представляем Dimple — первую дискретную диффузионную мультимодальную большую языковую модель (DMLLM). Мы наблюдаем, что обучение с использованием исключительно дискретного диффузионного подхода приводит к значительной нестабильности обучения, субоптимальной производительности и серьезным проблемам с предвзятостью длины. Для решения этих задач мы разрабатываем новую парадигму обучения, которая сочетает начальную авторегрессионную фазу с последующей диффузионной фазой. Этот подход позволяет создать модель Dimple-7B, обученную на том же наборе данных и с использованием схожего конвейера обучения, что и LLaVA-NEXT. Dimple-7B в конечном итоге превосходит LLaVA-NEXT по производительности на 3,9%, демонстрируя, что DMLLM может достичь результатов, сопоставимых с авторегрессионными моделями. Для повышения эффективности вывода мы предлагаем стратегию декодирования, названную уверенным декодированием, которая динамически регулирует количество токенов, генерируемых на каждом шаге, значительно сокращая количество итераций генерации. В авторегрессионных моделях количество прямых итераций во время генерации равно длине ответа. Однако при использовании уверенного декодирования количество итераций, необходимых для Dimple, составляет всего лишь text{длина ответа}{3}. Мы также повторно реализуем технику предварительного заполнения в авторегрессионных моделях и показываем, что она не оказывает значительного влияния на производительность в большинстве бенчмарков, при этом обеспечивая ускорение от 1,5 до 7 раз. Кроме того, мы исследуем способность Dimple точно контролировать свои ответы с использованием структурных априорных знаний. Эти априорные знания позволяют формировать структурированные ответы способом, отличным от инструкций или цепочек рассуждений, и обеспечивают детализированный контроль над форматом и длиной ответа, что сложно достичь в авторегрессионных моделях. В целом, данная работа подтверждает осуществимость и преимущества DMLLM, а также повышает ее эффективность вывода и управляемость. Код и модели доступны по адресу https://github.com/yu-rp/Dimple.

English

In this work, we propose Dimple, the first Discrete Diffusion Multimodal Large Language Model (DMLLM). We observe that training with a purely discrete diffusion approach leads to significant training instability, suboptimal performance, and severe length bias issues. To address these challenges, we design a novel training paradigm that combines an initial autoregressive phase with a subsequent diffusion phase. This approach yields the Dimple-7B model, trained on the same dataset and using a similar training pipeline as LLaVA-NEXT. Dimple-7B ultimately surpasses LLaVA-NEXT in performance by 3.9%, demonstrating that DMLLM can achieve performance comparable to that of autoregressive models. To improve inference efficiency, we propose a decoding strategy termed confident decoding, which dynamically adjusts the number of tokens generated at each step, significantly reducing the number of generation iterations. In autoregressive models, the number of forward iterations during generation equals the response length. With confident decoding, however, the number of iterations needed by Dimple is even only text{response length}{3}. We also re-implement the prefilling technique in autoregressive models and demonstrate that it does not significantly impact performance on most benchmark evaluations, while offering a speedup of 1.5x to 7x. Additionally, we explore Dimple's capability to precisely control its response using structure priors. These priors enable structured responses in a manner distinct from instruction-based or chain-of-thought prompting, and allow fine-grained control over response format and length, which is difficult to achieve in autoregressive models. Overall, this work validates the feasibility and advantages of DMLLM and enhances its inference efficiency and controllability. Code and models are available at https://github.com/yu-rp/Dimple.