LLaVA-NeXT-Interleave: Lidando com Múltiplas Imagens, Vídeos e 3D em Modelos Multimodais Grandes
LLaVA-NeXT-Interleave: Tackling Multi-image, Video, and 3D in Large Multimodal Models
July 10, 2024
Autores: Feng Li, Renrui Zhang, Hao Zhang, Yuanhan Zhang, Bo Li, Wei Li, Zejun Ma, Chunyuan Li
cs.AI
Resumo
A afinação visual de instruções tem feito avanços consideráveis na melhoria das capacidades dos Modelos Multimodais Grandes (LMMs). No entanto, os LMMs abertos existentes focam principalmente em tarefas de imagem única, sendo menos exploradas suas aplicações em cenários de múltiplas imagens. Além disso, pesquisas anteriores em LMMs abordam separadamente diferentes cenários, tornando impossível generalizar entre cenários com novas capacidades emergentes. Nesse sentido, apresentamos o LLaVA-NeXT-Interleave, que aborda simultaneamente cenários de Múltiplas Imagens, Múltiplos Quadros (vídeo), Múltiplas Visualizações (3D) e Múltiplos Patches (imagem única) em LMMs. Para habilitar essas capacidades, consideramos o formato de dados intercalados como um modelo geral e compilamos o conjunto de dados M4-Instruct com 1.177,6 mil amostras, abrangendo 4 domínios principais com 14 tarefas e 41 conjuntos de dados. Também criamos o LLaVA-Interleave Bench para avaliar abrangentemente o desempenho de múltiplas imagens dos LMMs. Através de experimentos extensivos, o LLaVA-NeXT-Interleave alcança resultados líderes em benchmarks de múltiplas imagens, vídeo e 3D, mantendo o desempenho em tarefas de imagem única. Além disso, nosso modelo também demonstra diversas capacidades emergentes, como transferência de tarefas entre diferentes configurações e modalidades. O código está disponível em https://github.com/LLaVA-VL/LLaVA-NeXT
English
Visual instruction tuning has made considerable strides in enhancing the
capabilities of Large Multimodal Models (LMMs). However, existing open LMMs
largely focus on single-image tasks, their applications to multi-image
scenarios remains less explored. Additionally, prior LMM research separately
tackles different scenarios, leaving it impossible to generalize cross
scenarios with new emerging capabilities. To this end, we introduce
LLaVA-NeXT-Interleave, which simultaneously tackles Multi-image, Multi-frame
(video), Multi-view (3D), and Multi-patch (single-image) scenarios in LMMs. To
enable these capabilities, we regard the interleaved data format as a general
template and compile the M4-Instruct dataset with 1,177.6k samples, spanning 4
primary domains with 14 tasks and 41 datasets. We also curate the
LLaVA-Interleave Bench to comprehensively evaluate the multi-image performance
of LMMs. Through extensive experiments, LLaVA-NeXT-Interleave achieves leading
results in multi-image, video, and 3D benchmarks, while maintaining the
performance of single-image tasks. Besides, our model also exhibits several
emerging capabilities, e.g., transferring tasks across different settings and
modalities. Code is available at https://github.com/LLaVA-VL/LLaVA-NeXT