Dimple: Diskretes Diffusions-Multimodales Großes Sprachmodell mit Parallel-Decodierung

Dimple: Discrete Diffusion Multimodal Large Language Model with Parallel Decoding

May 22, 2025

Autoren: Runpeng Yu, Xinyin Ma, Xinchao Wang

cs.AI

Zusammenfassung

In dieser Arbeit stellen wir Dimple vor, das erste Diskrete Diffusions-Multimodale Large Language Model (DMLLM). Wir beobachten, dass das Training mit einem rein diskreten Diffusionsansatz zu erheblicher Trainingsinstabilität, suboptimaler Leistung und schwerwiegenden Längenverzerrungsproblemen führt. Um diese Herausforderungen zu bewältigen, entwickeln wir ein neuartiges Trainingsparadigma, das eine anfängliche autoregressive Phase mit einer anschließenden Diffusionsphase kombiniert. Dieser Ansatz führt zum Dimple-7B-Modell, das auf demselben Datensatz und mit einer ähnlichen Trainingspipeline wie LLaVA-NEXT trainiert wurde. Dimple-7B übertrifft LLaVA-NEXT schließlich in der Leistung um 3,9 %, was zeigt, dass DMLLM eine mit autoregressiven Modellen vergleichbare Leistung erzielen kann. Um die Inferenzeffizienz zu verbessern, schlagen wir eine Decodierungsstrategie namens confident decoding vor, die die Anzahl der in jedem Schritt generierten Tokens dynamisch anpasst und die Anzahl der Generierungsiterationen erheblich reduziert. Bei autoregressiven Modellen entspricht die Anzahl der Vorwärtsiterationen während der Generierung der Antwortlänge. Mit confident decoding benötigt Dimple jedoch nur text{Antwortlänge}{3} Iterationen. Wir implementieren auch die Prefilling-Technik in autoregressiven Modellen neu und zeigen, dass sie die Leistung bei den meisten Benchmark-Auswertungen nicht wesentlich beeinträchtigt, während sie eine Beschleunigung von 1,5x bis 7x bietet. Zusätzlich untersuchen wir die Fähigkeit von Dimple, seine Antwort mithilfe von Strukturpriors präzise zu steuern. Diese Priors ermöglichen strukturierte Antworten auf eine Weise, die sich von anweisungsbasiertem oder Chain-of-Thought-Prompting unterscheidet, und ermöglichen eine fein abgestimmte Kontrolle über das Antwortformat und die Länge, was in autoregressiven Modellen schwer zu erreichen ist. Insgesamt bestätigt diese Arbeit die Machbarkeit und Vorteile von DMLLM und verbessert dessen Inferenzeffizienz und Steuerbarkeit. Code und Modelle sind unter https://github.com/yu-rp/Dimple verfügbar.

English

In this work, we propose Dimple, the first Discrete Diffusion Multimodal Large Language Model (DMLLM). We observe that training with a purely discrete diffusion approach leads to significant training instability, suboptimal performance, and severe length bias issues. To address these challenges, we design a novel training paradigm that combines an initial autoregressive phase with a subsequent diffusion phase. This approach yields the Dimple-7B model, trained on the same dataset and using a similar training pipeline as LLaVA-NEXT. Dimple-7B ultimately surpasses LLaVA-NEXT in performance by 3.9%, demonstrating that DMLLM can achieve performance comparable to that of autoregressive models. To improve inference efficiency, we propose a decoding strategy termed confident decoding, which dynamically adjusts the number of tokens generated at each step, significantly reducing the number of generation iterations. In autoregressive models, the number of forward iterations during generation equals the response length. With confident decoding, however, the number of iterations needed by Dimple is even only text{response length}{3}. We also re-implement the prefilling technique in autoregressive models and demonstrate that it does not significantly impact performance on most benchmark evaluations, while offering a speedup of 1.5x to 7x. Additionally, we explore Dimple's capability to precisely control its response using structure priors. These priors enable structured responses in a manner distinct from instruction-based or chain-of-thought prompting, and allow fine-grained control over response format and length, which is difficult to achieve in autoregressive models. Overall, this work validates the feasibility and advantages of DMLLM and enhances its inference efficiency and controllability. Code and models are available at https://github.com/yu-rp/Dimple.