LLaDA-V: Grote Taalmodellen voor Diffusie met Visuele Instructieafstemming

LLaDA-V: Large Language Diffusion Models with Visual Instruction Tuning

May 22, 2025

Auteurs: Zebin You, Shen Nie, Xiaolu Zhang, Jun Hu, Jun Zhou, Zhiwu Lu, Ji-Rong Wen, Chongxuan Li

cs.AI

Samenvatting

In dit werk introduceren we LLaDA-V, een puur op diffusie gebaseerd Multimodaal Groot Taalmodel (MLLM) dat visuele instructieafstemming integreert met gemaskeerde diffusiemodellen, wat een afwijking vormt van de autoregressieve paradigma's die dominant zijn in huidige multimodale benaderingen. Gebouwd op LLaDA, een representatief groot taaldiffusiemodel, bevat LLaDA-V een visuele encoder en een MLP-connector die visuele kenmerken projecteert in de taalinbeddingsruimte, waardoor effectieve multimodale afstemming mogelijk wordt. Ons empirisch onderzoek onthult verschillende intrigerende resultaten: Ten eerste toont LLaDA-V veelbelovende multimodale prestaties, ondanks dat het taalmodel zwakker is op puur tekstuele taken in vergelijking met tegenhangers zoals LLaMA3-8B en Qwen2-7B. Wanneer getraind op dezelfde instructiedata, is LLaDA-V zeer concurrerend ten opzichte van LLaMA3-V over multimodale taken heen, met betere dataschaalbaarheid. Het verkleint ook de prestatiekloof met Qwen2-VL, wat de effectiviteit van de architectuur voor multimodale taken suggereert. Ten tweede behaalt LLaDA-V state-of-the-art prestaties in multimodaal begrip in vergelijking met bestaande hybride autoregressieve-diffusie en puur op diffusie gebaseerde MLLM's. Onze bevindingen suggereren dat grote taaldiffusiemodellen veelbelovend zijn in multimodale contexten en verder onderzoek in toekomstig onderzoek rechtvaardigen. Projectpagina en codes: https://ml-gsai.github.io/LLaDA-V-demo/.

English

In this work, we introduce LLaDA-V, a purely diffusion-based Multimodal Large Language Model (MLLM) that integrates visual instruction tuning with masked diffusion models, representing a departure from the autoregressive paradigms dominant in current multimodal approaches. Built upon LLaDA, a representative large language diffusion model, LLaDA-V incorporates a vision encoder and MLP connector that projects visual features into the language embedding space, enabling effective multimodal alignment. Our empirical investigation reveals several intriguing results: First, LLaDA-V demonstrates promising multimodal performance despite its language model being weaker on purely textual tasks than counterparts like LLaMA3-8B and Qwen2-7B. When trained on the same instruction data, LLaDA-V is highly competitive to LLaMA3-V across multimodal tasks with better data scalability. It also narrows the performance gap to Qwen2-VL, suggesting the effectiveness of its architecture for multimodal tasks. Second, LLaDA-V achieves state-of-the-art performance in multimodal understanding compared to existing hybrid autoregressive-diffusion and purely diffusion-based MLLMs. Our findings suggest that large language diffusion models show promise in multimodal contexts and warrant further investigation in future research. Project page and codes: https://ml-gsai.github.io/LLaDA-V-demo/.