Dimple : Modèle de Langage Multimodal à Grande Échelle avec Diffusion Discrète et Décodage Parallèle

Dimple: Discrete Diffusion Multimodal Large Language Model with Parallel Decoding

May 22, 2025

Auteurs: Runpeng Yu, Xinyin Ma, Xinchao Wang

cs.AI

Résumé

Dans ce travail, nous proposons Dimple, le premier Modèle de Langage Multimodal à Diffusion Discrète (DMLLM). Nous observons qu'un entraînement basé uniquement sur une approche de diffusion discrète entraîne une instabilité significative pendant l'entraînement, des performances sous-optimales et des problèmes importants de biais de longueur. Pour résoudre ces défis, nous concevons un nouveau paradigme d'entraînement qui combine une phase initiale autoregressive avec une phase de diffusion subséquente. Cette approche donne naissance au modèle Dimple-7B, entraîné sur le même ensemble de données et utilisant un pipeline d'entraînement similaire à celui de LLaVA-NEXT. Dimple-7B surpasse finalement LLaVA-NEXT en performance de 3,9 %, démontrant ainsi que les DMLLM peuvent atteindre des performances comparables à celles des modèles autoregressifs. Pour améliorer l'efficacité de l'inférence, nous proposons une stratégie de décodage appelée décodage confiant, qui ajuste dynamiquement le nombre de tokens générés à chaque étape, réduisant ainsi significativement le nombre d'itérations de génération. Dans les modèles autoregressifs, le nombre d'itérations avant pendant la génération est égal à la longueur de la réponse. Avec le décodage confiant, cependant, le nombre d'itérations nécessaires pour Dimple est même seulement text{longueur de la réponse}{3}. Nous réimplémentons également la technique de préremplissage dans les modèles autoregressifs et démontrons qu'elle n'a pas d'impact significatif sur les performances dans la plupart des évaluations de référence, tout en offrant une accélération de 1,5x à 7x. De plus, nous explorons la capacité de Dimple à contrôler précisément ses réponses en utilisant des priors de structure. Ces priors permettent des réponses structurées d'une manière distincte de l'incitation basée sur des instructions ou sur le raisonnement en chaîne, et offrent un contrôle fin du format et de la longueur de la réponse, ce qui est difficile à réaliser dans les modèles autoregressifs. Globalement, ce travail valide la faisabilité et les avantages des DMLLM et améliore leur efficacité d'inférence et leur contrôlabilité. Le code et les modèles sont disponibles à l'adresse https://github.com/yu-rp/Dimple.

English

In this work, we propose Dimple, the first Discrete Diffusion Multimodal Large Language Model (DMLLM). We observe that training with a purely discrete diffusion approach leads to significant training instability, suboptimal performance, and severe length bias issues. To address these challenges, we design a novel training paradigm that combines an initial autoregressive phase with a subsequent diffusion phase. This approach yields the Dimple-7B model, trained on the same dataset and using a similar training pipeline as LLaVA-NEXT. Dimple-7B ultimately surpasses LLaVA-NEXT in performance by 3.9%, demonstrating that DMLLM can achieve performance comparable to that of autoregressive models. To improve inference efficiency, we propose a decoding strategy termed confident decoding, which dynamically adjusts the number of tokens generated at each step, significantly reducing the number of generation iterations. In autoregressive models, the number of forward iterations during generation equals the response length. With confident decoding, however, the number of iterations needed by Dimple is even only text{response length}{3}. We also re-implement the prefilling technique in autoregressive models and demonstrate that it does not significantly impact performance on most benchmark evaluations, while offering a speedup of 1.5x to 7x. Additionally, we explore Dimple's capability to precisely control its response using structure priors. These priors enable structured responses in a manner distinct from instruction-based or chain-of-thought prompting, and allow fine-grained control over response format and length, which is difficult to achieve in autoregressive models. Overall, this work validates the feasibility and advantages of DMLLM and enhances its inference efficiency and controllability. Code and models are available at https://github.com/yu-rp/Dimple.