LLaVA-NeXT-Interleave: Abordando múltiples imágenes, videos y modelos tridimensionales en grandes modelos multimodales.

LLaVA-NeXT-Interleave: Tackling Multi-image, Video, and 3D in Large Multimodal Models

July 10, 2024

Autores: Feng Li, Renrui Zhang, Hao Zhang, Yuanhan Zhang, Bo Li, Wei Li, Zejun Ma, Chunyuan Li

cs.AI

Resumen

La sintonización visual de instrucciones ha avanzado considerablemente en mejorar las capacidades de los Modelos Multimodales Grandes (LMMs). Sin embargo, los LMMs abiertos existentes se centran principalmente en tareas de imagen única, y sus aplicaciones en escenarios de múltiples imágenes siguen siendo poco exploradas. Además, la investigación previa de LMM aborda por separado diferentes escenarios, lo que hace imposible generalizar entre escenarios con nuevas capacidades emergentes. Con este fin, presentamos LLaVA-NeXT-Interleave, que aborda simultáneamente escenarios de Multi-imagen, Multi-cuadro (video), Multi-vista (3D) y Multi-parche (imagen única) en LMMs. Para habilitar estas capacidades, consideramos el formato de datos entrelazados como una plantilla general y compilamos el conjunto de datos M4-Instruct con 1,177.6k muestras, abarcando 4 dominios principales con 14 tareas y 41 conjuntos de datos. También creamos el Banco de Pruebas LLaVA-Interleave para evaluar de manera integral el rendimiento de múltiples imágenes de los LMMs. A través de experimentos extensos, LLaVA-NeXT-Interleave logra resultados líderes en benchmarks de multi-imagen, video y 3D, manteniendo el rendimiento de tareas de imagen única. Además, nuestro modelo también muestra varias capacidades emergentes, como transferir tareas entre diferentes configuraciones y modalidades. El código está disponible en https://github.com/LLaVA-VL/LLaVA-NeXT

English

Visual instruction tuning has made considerable strides in enhancing the capabilities of Large Multimodal Models (LMMs). However, existing open LMMs largely focus on single-image tasks, their applications to multi-image scenarios remains less explored. Additionally, prior LMM research separately tackles different scenarios, leaving it impossible to generalize cross scenarios with new emerging capabilities. To this end, we introduce LLaVA-NeXT-Interleave, which simultaneously tackles Multi-image, Multi-frame (video), Multi-view (3D), and Multi-patch (single-image) scenarios in LMMs. To enable these capabilities, we regard the interleaved data format as a general template and compile the M4-Instruct dataset with 1,177.6k samples, spanning 4 primary domains with 14 tasks and 41 datasets. We also curate the LLaVA-Interleave Bench to comprehensively evaluate the multi-image performance of LMMs. Through extensive experiments, LLaVA-NeXT-Interleave achieves leading results in multi-image, video, and 3D benchmarks, while maintaining the performance of single-image tasks. Besides, our model also exhibits several emerging capabilities, e.g., transferring tasks across different settings and modalities. Code is available at https://github.com/LLaVA-VL/LLaVA-NeXT