LLaDA-V: Модели крупномасштабной языковой диффузии с визуальной настройкой инструкций

LLaDA-V: Large Language Diffusion Models with Visual Instruction Tuning

May 22, 2025

Авторы: Zebin You, Shen Nie, Xiaolu Zhang, Jun Hu, Jun Zhou, Zhiwu Lu, Ji-Rong Wen, Chongxuan Li

cs.AI

Аннотация

В данной работе мы представляем LLaDA-V — мультимодальную большую языковую модель (MLLM), основанную исключительно на диффузионных подходах, которая объединяет настройку на визуальных инструкциях с маскированными диффузионными моделями, что представляет собой отход от доминирующих в современных мультимодальных подходах авторегрессивных парадигм. Построенная на основе LLaDA, репрезентативной большой языковой диффузионной модели, LLaDA-V включает в себя визуальный кодировщик и MLP-соединитель, который проецирует визуальные признаки в пространство языковых эмбеддингов, обеспечивая эффективное мультимодальное согласование. Наше эмпирическое исследование выявило несколько интересных результатов: Во-первых, LLaDA-V демонстрирует многообещающую мультимодальную производительность, несмотря на то, что её языковая модель уступает в чисто текстовых задачах аналогам, таким как LLaMA3-8B и Qwen2-7B. При обучении на тех же данных инструкций LLaDA-V оказывается высококонкурентоспособной по сравнению с LLaMA3-V в мультимодальных задачах, демонстрируя лучшую масштабируемость данных. Она также сокращает разрыв в производительности с Qwen2-VL, что свидетельствует об эффективности её архитектуры для мультимодальных задач. Во-вторых, LLaDA-V достигает наилучших результатов в мультимодальном понимании по сравнению с существующими гибридными авторегрессивно-диффузионными и чисто диффузионными MLLM. Наши результаты показывают, что большие языковые диффузионные модели демонстрируют потенциал в мультимодальных контекстах и заслуживают дальнейшего исследования в будущих работах. Страница проекта и код: https://ml-gsai.github.io/LLaDA-V-demo/.

English

In this work, we introduce LLaDA-V, a purely diffusion-based Multimodal Large Language Model (MLLM) that integrates visual instruction tuning with masked diffusion models, representing a departure from the autoregressive paradigms dominant in current multimodal approaches. Built upon LLaDA, a representative large language diffusion model, LLaDA-V incorporates a vision encoder and MLP connector that projects visual features into the language embedding space, enabling effective multimodal alignment. Our empirical investigation reveals several intriguing results: First, LLaDA-V demonstrates promising multimodal performance despite its language model being weaker on purely textual tasks than counterparts like LLaMA3-8B and Qwen2-7B. When trained on the same instruction data, LLaDA-V is highly competitive to LLaMA3-V across multimodal tasks with better data scalability. It also narrows the performance gap to Qwen2-VL, suggesting the effectiveness of its architecture for multimodal tasks. Second, LLaDA-V achieves state-of-the-art performance in multimodal understanding compared to existing hybrid autoregressive-diffusion and purely diffusion-based MLLMs. Our findings suggest that large language diffusion models show promise in multimodal contexts and warrant further investigation in future research. Project page and codes: https://ml-gsai.github.io/LLaDA-V-demo/.