LLaDA-V: Modelli di Diffusione su Grande Scala con Sintonizzazione su Istruzioni Visive

LLaDA-V: Large Language Diffusion Models with Visual Instruction Tuning

May 22, 2025

Autori: Zebin You, Shen Nie, Xiaolu Zhang, Jun Hu, Jun Zhou, Zhiwu Lu, Ji-Rong Wen, Chongxuan Li

cs.AI

Abstract

In questo lavoro, presentiamo LLaDA-V, un Multimodal Large Language Model (MLLM) basato esclusivamente su modelli di diffusione che integra il tuning di istruzioni visive con modelli di diffusione mascherati, rappresentando una deviazione dai paradigmi autoregressivi dominanti negli approcci multimodali attuali. Costruito su LLaDA, un rappresentativo modello di diffusione per linguaggio di grandi dimensioni, LLaDA-V incorpora un encoder visivo e un connettore MLP che proietta le caratteristiche visive nello spazio di embedding linguistico, consentendo un efficace allineamento multimodale. La nostra indagine empirica rivela diversi risultati interessanti: in primo luogo, LLaDA-V dimostra prestazioni multimodali promettenti nonostante il suo modello linguistico sia meno performante in compiti puramente testuali rispetto a controparti come LLaMA3-8B e Qwen2-7B. Quando addestrato sugli stessi dati di istruzione, LLaDA-V è altamente competitivo rispetto a LLaMA3-V in compiti multimodali, con una migliore scalabilità dei dati. Riduce inoltre il divario di prestazioni rispetto a Qwen2-VL, suggerendo l'efficacia della sua architettura per compiti multimodali. In secondo luogo, LLaDA-V raggiunge prestazioni all'avanguardia nella comprensione multimodale rispetto agli attuali MLLM ibridi autoregressivi-diffusivi e basati esclusivamente su diffusione. I nostri risultati suggeriscono che i modelli di diffusione per linguaggio di grandi dimensioni mostrano promettenti potenzialità in contesti multimodali e meritano ulteriori indagini in future ricerche. Pagina del progetto e codici: https://ml-gsai.github.io/LLaDA-V-demo/.

English

In this work, we introduce LLaDA-V, a purely diffusion-based Multimodal Large Language Model (MLLM) that integrates visual instruction tuning with masked diffusion models, representing a departure from the autoregressive paradigms dominant in current multimodal approaches. Built upon LLaDA, a representative large language diffusion model, LLaDA-V incorporates a vision encoder and MLP connector that projects visual features into the language embedding space, enabling effective multimodal alignment. Our empirical investigation reveals several intriguing results: First, LLaDA-V demonstrates promising multimodal performance despite its language model being weaker on purely textual tasks than counterparts like LLaMA3-8B and Qwen2-7B. When trained on the same instruction data, LLaDA-V is highly competitive to LLaMA3-V across multimodal tasks with better data scalability. It also narrows the performance gap to Qwen2-VL, suggesting the effectiveness of its architecture for multimodal tasks. Second, LLaDA-V achieves state-of-the-art performance in multimodal understanding compared to existing hybrid autoregressive-diffusion and purely diffusion-based MLLMs. Our findings suggest that large language diffusion models show promise in multimodal contexts and warrant further investigation in future research. Project page and codes: https://ml-gsai.github.io/LLaDA-V-demo/.