Dimple: Modelo de Linguagem Multimodal de Grande Escala com Difusão Discreta e Decodificação Paralela

Dimple: Discrete Diffusion Multimodal Large Language Model with Parallel Decoding

May 22, 2025

Autores: Runpeng Yu, Xinyin Ma, Xinchao Wang

cs.AI

Resumo

Neste trabalho, propomos o Dimple, o primeiro Modelo de Linguagem Multimodal com Difusão Discreta (DMLLM). Observamos que o treinamento com uma abordagem puramente discreta de difusão leva a uma instabilidade significativa durante o treinamento, desempenho subótimo e problemas graves de viés de comprimento. Para enfrentar esses desafios, projetamos um novo paradigma de treinamento que combina uma fase inicial autorregressiva com uma fase subsequente de difusão. Essa abordagem resulta no modelo Dimple-7B, treinado no mesmo conjunto de dados e utilizando um pipeline de treinamento semelhante ao do LLaVA-NEXT. O Dimple-7B supera o LLaVA-NEXT em desempenho em 3,9%, demonstrando que o DMLLM pode alcançar um desempenho comparável ao dos modelos autorregressivos. Para melhorar a eficiência na inferência, propomos uma estratégia de decodificação chamada decodificação confiante, que ajusta dinamicamente o número de tokens gerados em cada etapa, reduzindo significativamente o número de iterações de geração. Em modelos autorregressivos, o número de iterações diretas durante a geração é igual ao comprimento da resposta. Com a decodificação confiante, no entanto, o número de iterações necessárias pelo Dimple é apenas text{comprimento da resposta}{3}. Também reimplementamos a técnica de preenchimento prévio em modelos autorregressivos e demonstramos que ela não impacta significativamente o desempenho na maioria das avaliações de benchmark, enquanto oferece uma aceleração de 1,5x a 7x. Além disso, exploramos a capacidade do Dimple de controlar precisamente sua resposta usando priors estruturais. Esses priors permitem respostas estruturadas de uma maneira distinta do prompting baseado em instruções ou em cadeia de pensamento, e permitem um controle refinado sobre o formato e o comprimento da resposta, o que é difícil de alcançar em modelos autorregressivos. No geral, este trabalho valida a viabilidade e as vantagens do DMLLM e aprimora sua eficiência de inferência e controlabilidade. O código e os modelos estão disponíveis em https://github.com/yu-rp/Dimple.

English

In this work, we propose Dimple, the first Discrete Diffusion Multimodal Large Language Model (DMLLM). We observe that training with a purely discrete diffusion approach leads to significant training instability, suboptimal performance, and severe length bias issues. To address these challenges, we design a novel training paradigm that combines an initial autoregressive phase with a subsequent diffusion phase. This approach yields the Dimple-7B model, trained on the same dataset and using a similar training pipeline as LLaVA-NEXT. Dimple-7B ultimately surpasses LLaVA-NEXT in performance by 3.9%, demonstrating that DMLLM can achieve performance comparable to that of autoregressive models. To improve inference efficiency, we propose a decoding strategy termed confident decoding, which dynamically adjusts the number of tokens generated at each step, significantly reducing the number of generation iterations. In autoregressive models, the number of forward iterations during generation equals the response length. With confident decoding, however, the number of iterations needed by Dimple is even only text{response length}{3}. We also re-implement the prefilling technique in autoregressive models and demonstrate that it does not significantly impact performance on most benchmark evaluations, while offering a speedup of 1.5x to 7x. Additionally, we explore Dimple's capability to precisely control its response using structure priors. These priors enable structured responses in a manner distinct from instruction-based or chain-of-thought prompting, and allow fine-grained control over response format and length, which is difficult to achieve in autoregressive models. Overall, this work validates the feasibility and advantages of DMLLM and enhances its inference efficiency and controllability. Code and models are available at https://github.com/yu-rp/Dimple.