LLaVA-NeXT-Interleave: Affrontare immagini multiple, video e 3D nei grandi modelli multimodali
LLaVA-NeXT-Interleave: Tackling Multi-image, Video, and 3D in Large Multimodal Models
July 10, 2024
Autori: Feng Li, Renrui Zhang, Hao Zhang, Yuanhan Zhang, Bo Li, Wei Li, Zejun Ma, Chunyuan Li
cs.AI
Abstract
Il tuning delle istruzioni visive ha compiuto progressi significativi nel potenziare le capacità dei Modelli Multimodali di Grande Scala (LMM). Tuttavia, gli attuali LMM open si concentrano principalmente su attività relative a singole immagini, lasciando poco esplorato il loro utilizzo in scenari multi-immagine. Inoltre, le ricerche precedenti sugli LMM affrontano separatamente diversi scenari, rendendo impossibile generalizzare le capacità emergenti tra contesti diversi. A tal fine, introduciamo LLaVA-NeXT-Interleave, che affronta simultaneamente scenari multi-immagine, multi-frame (video), multi-vista (3D) e multi-patch (singola immagine) negli LMM. Per abilitare queste capacità, consideriamo il formato dati intervallato come un modello generale e compiliamo il dataset M4-Instruct con 1.177,6k campioni, coprendo 4 domini principali con 14 task e 41 dataset. Abbiamo inoltre curato il LLaVA-Interleave Bench per valutare in modo completo le prestazioni multi-immagine degli LMM. Attraverso esperimenti estesi, LLaVA-NeXT-Interleave ottiene risultati leader nei benchmark multi-immagine, video e 3D, mantenendo al contempo le prestazioni nelle attività su singola immagine. Inoltre, il nostro modello mostra diverse capacità emergenti, come il trasferimento di task tra impostazioni e modalità diverse. Il codice è disponibile all'indirizzo https://github.com/LLaVA-VL/LLaVA-NeXT.
English
Visual instruction tuning has made considerable strides in enhancing the
capabilities of Large Multimodal Models (LMMs). However, existing open LMMs
largely focus on single-image tasks, their applications to multi-image
scenarios remains less explored. Additionally, prior LMM research separately
tackles different scenarios, leaving it impossible to generalize cross
scenarios with new emerging capabilities. To this end, we introduce
LLaVA-NeXT-Interleave, which simultaneously tackles Multi-image, Multi-frame
(video), Multi-view (3D), and Multi-patch (single-image) scenarios in LMMs. To
enable these capabilities, we regard the interleaved data format as a general
template and compile the M4-Instruct dataset with 1,177.6k samples, spanning 4
primary domains with 14 tasks and 41 datasets. We also curate the
LLaVA-Interleave Bench to comprehensively evaluate the multi-image performance
of LMMs. Through extensive experiments, LLaVA-NeXT-Interleave achieves leading
results in multi-image, video, and 3D benchmarks, while maintaining the
performance of single-image tasks. Besides, our model also exhibits several
emerging capabilities, e.g., transferring tasks across different settings and
modalities. Code is available at https://github.com/LLaVA-VL/LLaVA-NeXT