Dimple: Discrete Diffusie Multimodaal Taalmodel met Parallelle Decodering

Dimple: Discrete Diffusion Multimodal Large Language Model with Parallel Decoding

May 22, 2025

Auteurs: Runpeng Yu, Xinyin Ma, Xinchao Wang

cs.AI

Samenvatting

In dit werk introduceren we Dimple, het eerste Discrete Diffusion Multimodal Large Language Model (DMLLM). We observeren dat training met een puur discrete diffusiebenadering leidt tot aanzienlijke trainingsinstabiliteit, suboptimale prestaties en ernstige lengtebiasproblemen. Om deze uitdagingen aan te pakken, ontwerpen we een nieuw trainingsparadigma dat een initiële autoregressieve fase combineert met een daaropvolgende diffusiefase. Deze aanpak resulteert in het Dimple-7B-model, getraind op dezelfde dataset en met een vergelijkbare trainingspipeline als LLaVA-NEXT. Dimple-7B overtreft uiteindelijk LLaVA-NEXT in prestaties met 3,9%, wat aantoont dat DMLLM prestaties kan bereiken die vergelijkbaar zijn met die van autoregressieve modellen. Om de inferentie-efficiëntie te verbeteren, stellen we een decodeerstrategie voor genaamd confident decoding, die het aantal gegenereerde tokens bij elke stap dynamisch aanpast, waardoor het aantal generatie-iteraties aanzienlijk wordt verminderd. In autoregressieve modellen is het aantal voorwaartse iteraties tijdens de generatie gelijk aan de responslengte. Met confident decoding is het aantal iteraties dat Dimple nodig heeft echter slechts text{responslengte}{3}. We implementeren ook de prefilling-techniek in autoregressieve modellen opnieuw en tonen aan dat deze geen significante invloed heeft op de prestaties bij de meeste benchmarkevaluaties, terwijl het een versnelling biedt van 1,5x tot 7x. Daarnaast onderzoeken we de mogelijkheid van Dimple om zijn respons nauwkeurig te controleren met behulp van structuurpriors. Deze priors maken gestructureerde reacties mogelijk op een manier die verschilt van instructiegebaseerde of chain-of-thought prompting, en bieden fijnmazige controle over het responsformaat en de lengte, wat moeilijk te bereiken is in autoregressieve modellen. Over het algemeen valideert dit werk de haalbaarheid en voordelen van DMLLM en verbetert het de inferentie-efficiëntie en beheersbaarheid. Code en modellen zijn beschikbaar op https://github.com/yu-rp/Dimple.

English

In this work, we propose Dimple, the first Discrete Diffusion Multimodal Large Language Model (DMLLM). We observe that training with a purely discrete diffusion approach leads to significant training instability, suboptimal performance, and severe length bias issues. To address these challenges, we design a novel training paradigm that combines an initial autoregressive phase with a subsequent diffusion phase. This approach yields the Dimple-7B model, trained on the same dataset and using a similar training pipeline as LLaVA-NEXT. Dimple-7B ultimately surpasses LLaVA-NEXT in performance by 3.9%, demonstrating that DMLLM can achieve performance comparable to that of autoregressive models. To improve inference efficiency, we propose a decoding strategy termed confident decoding, which dynamically adjusts the number of tokens generated at each step, significantly reducing the number of generation iterations. In autoregressive models, the number of forward iterations during generation equals the response length. With confident decoding, however, the number of iterations needed by Dimple is even only text{response length}{3}. We also re-implement the prefilling technique in autoregressive models and demonstrate that it does not significantly impact performance on most benchmark evaluations, while offering a speedup of 1.5x to 7x. Additionally, we explore Dimple's capability to precisely control its response using structure priors. These priors enable structured responses in a manner distinct from instruction-based or chain-of-thought prompting, and allow fine-grained control over response format and length, which is difficult to achieve in autoregressive models. Overall, this work validates the feasibility and advantages of DMLLM and enhances its inference efficiency and controllability. Code and models are available at https://github.com/yu-rp/Dimple.