LLaDA-V: Große Sprachdiffusionsmodelle mit visuellem Instruktions-Finetuning

LLaDA-V: Large Language Diffusion Models with Visual Instruction Tuning

May 22, 2025

Autoren: Zebin You, Shen Nie, Xiaolu Zhang, Jun Hu, Jun Zhou, Zhiwu Lu, Ji-Rong Wen, Chongxuan Li

cs.AI

Zusammenfassung

In dieser Arbeit stellen wir LLaDA-V vor, ein rein diffusionsbasiertes Multimodales Großes Sprachmodell (MLLM), das visuelles Instruction Tuning mit maskierten Diffusionsmodellen integriert und damit einen Bruch mit den in aktuellen multimodalen Ansätzen dominierenden autoregressiven Paradigmen darstellt. Basierend auf LLaDA, einem repräsentativen großen Sprachdiffusionsmodell, integriert LLaDA-V einen Vision-Encoder und einen MLP-Connector, der visuelle Merkmale in den Sprach-Einbettungsraum projiziert und so eine effektive multimodale Ausrichtung ermöglicht. Unsere empirische Untersuchung zeigt mehrere interessante Ergebnisse: Erstens demonstriert LLaDA-V vielversprechende multimodale Leistungen, obwohl sein Sprachmodell bei rein textbasierten Aufgaben schwächer ist als Gegenstücke wie LLaMA3-8B und Qwen2-7B. Bei gleicher Trainingsdatenbasis ist LLaDA-V im Vergleich zu LLaMA3-V in multimodalen Aufgaben äußerst wettbewerbsfähig und zeigt eine bessere Daten-Skalierbarkeit. Es verringert auch die Leistungslücke zu Qwen2-VL, was die Effektivität seiner Architektur für multimodale Aufgaben nahelegt. Zweitens erreicht LLaDA-V im Vergleich zu bestehenden hybriden autoregressiv-diffusionsbasierten und rein diffusionsbasierten MLLMs Spitzenleistungen im multimodalen Verständnis. Unsere Ergebnisse deuten darauf hin, dass große Sprachdiffusionsmodelle in multimodalen Kontexten vielversprechend sind und weitere Untersuchungen in zukünftigen Forschungen rechtfertigen. Projektseite und Codes: https://ml-gsai.github.io/LLaDA-V-demo/.

English

In this work, we introduce LLaDA-V, a purely diffusion-based Multimodal Large Language Model (MLLM) that integrates visual instruction tuning with masked diffusion models, representing a departure from the autoregressive paradigms dominant in current multimodal approaches. Built upon LLaDA, a representative large language diffusion model, LLaDA-V incorporates a vision encoder and MLP connector that projects visual features into the language embedding space, enabling effective multimodal alignment. Our empirical investigation reveals several intriguing results: First, LLaDA-V demonstrates promising multimodal performance despite its language model being weaker on purely textual tasks than counterparts like LLaMA3-8B and Qwen2-7B. When trained on the same instruction data, LLaDA-V is highly competitive to LLaMA3-V across multimodal tasks with better data scalability. It also narrows the performance gap to Qwen2-VL, suggesting the effectiveness of its architecture for multimodal tasks. Second, LLaDA-V achieves state-of-the-art performance in multimodal understanding compared to existing hybrid autoregressive-diffusion and purely diffusion-based MLLMs. Our findings suggest that large language diffusion models show promise in multimodal contexts and warrant further investigation in future research. Project page and codes: https://ml-gsai.github.io/LLaDA-V-demo/.