LLaDA-V : Modèles de diffusion de langage à grande échelle avec réglage visuel par instructions

LLaDA-V: Large Language Diffusion Models with Visual Instruction Tuning

May 22, 2025

Auteurs: Zebin You, Shen Nie, Xiaolu Zhang, Jun Hu, Jun Zhou, Zhiwu Lu, Ji-Rong Wen, Chongxuan Li

cs.AI

Résumé

Dans ce travail, nous présentons LLaDA-V, un modèle de langage multimodal (MLLM) basé exclusivement sur la diffusion, qui intègre un réglage par instructions visuelles avec des modèles de diffusion masqués, marquant ainsi une rupture avec les paradigmes autorégressifs dominants dans les approches multimodales actuelles. Construit sur LLaDA, un modèle de diffusion de langage de grande taille représentatif, LLaDA-V intègre un encodeur visuel et un connecteur MLP qui projettent les caractéristiques visuelles dans l'espace d'embedding linguistique, permettant un alignement multimodal efficace. Notre investigation empirique révèle plusieurs résultats intrigants : Premièrement, LLaDA-V démontre des performances multimodales prometteuses bien que son modèle de langage soit moins performant sur des tâches purement textuelles que des modèles comme LLaMA3-8B et Qwen2-7B. Lorsqu'il est entraîné sur les mêmes données d'instruction, LLaDA-V est très compétitif par rapport à LLaMA3-V dans les tâches multimodales, avec une meilleure scalabilité des données. Il réduit également l'écart de performance avec Qwen2-VL, suggérant l'efficacité de son architecture pour les tâches multimodales. Deuxièmement, LLaDA-V atteint des performances de pointe en compréhension multimodale par rapport aux MLLM hybrides autorégressifs-diffusifs et purement basés sur la diffusion existants. Nos résultats suggèrent que les modèles de diffusion de langage de grande taille montrent un potentiel dans les contextes multimodaux et méritent des investigations approfondies dans les recherches futures. Page du projet et codes : https://ml-gsai.github.io/LLaDA-V-demo/.

English

In this work, we introduce LLaDA-V, a purely diffusion-based Multimodal Large Language Model (MLLM) that integrates visual instruction tuning with masked diffusion models, representing a departure from the autoregressive paradigms dominant in current multimodal approaches. Built upon LLaDA, a representative large language diffusion model, LLaDA-V incorporates a vision encoder and MLP connector that projects visual features into the language embedding space, enabling effective multimodal alignment. Our empirical investigation reveals several intriguing results: First, LLaDA-V demonstrates promising multimodal performance despite its language model being weaker on purely textual tasks than counterparts like LLaMA3-8B and Qwen2-7B. When trained on the same instruction data, LLaDA-V is highly competitive to LLaMA3-V across multimodal tasks with better data scalability. It also narrows the performance gap to Qwen2-VL, suggesting the effectiveness of its architecture for multimodal tasks. Second, LLaDA-V achieves state-of-the-art performance in multimodal understanding compared to existing hybrid autoregressive-diffusion and purely diffusion-based MLLMs. Our findings suggest that large language diffusion models show promise in multimodal contexts and warrant further investigation in future research. Project page and codes: https://ml-gsai.github.io/LLaDA-V-demo/.