LLaVA-NeXT-Interleave: Bewältigung von Multi-Image, Video und 3D in großen multimodalen Modellen

LLaVA-NeXT-Interleave: Tackling Multi-image, Video, and 3D in Large Multimodal Models

July 10, 2024

Autoren: Feng Li, Renrui Zhang, Hao Zhang, Yuanhan Zhang, Bo Li, Wei Li, Zejun Ma, Chunyuan Li

cs.AI

Zusammenfassung

Die visuelle Anleitungsoptimierung hat erhebliche Fortschritte bei der Verbesserung der Fähigkeiten großer multimodaler Modelle (LMMs) gemacht. Allerdings konzentrieren sich bestehende offene LMMs hauptsächlich auf Einzelbildaufgaben, während ihre Anwendungen in Multi-Bild-Szenarien noch wenig erforscht sind. Darüber hinaus behandelt die bisherige LMM-Forschung unterschiedliche Szenarien separat, was es unmöglich macht, allgemeine Schlussfolgerungen über Szenarien mit neuen aufkommenden Fähigkeiten zu ziehen. Zu diesem Zweck stellen wir LLaVA-NeXT-Interleave vor, das gleichzeitig Multi-Bild-, Multi-Rahmen- (Video-), Multi-Ansichts- (3D-) und Multi-Patch- (Einzelbild-) Szenarien in LMMs angeht. Um diese Fähigkeiten zu ermöglichen, betrachten wir das interleaved Datenformat als allgemeine Vorlage und erstellen den M4-Instruct-Datensatz mit 1.177,6k Beispielen, der 4 Hauptdomänen mit 14 Aufgaben und 41 Datensätzen abdeckt. Wir kuratieren auch die LLaVA-Interleave-Bench, um die Multi-Bild-Performance von LMMs umfassend zu bewerten. Durch umfangreiche Experimente erzielt LLaVA-NeXT-Interleave führende Ergebnisse in Multi-Bild-, Video- und 3D-Benchmarks, während es die Leistung bei Einzelbildaufgaben beibehält. Darüber hinaus zeigt unser Modell auch mehrere aufkommende Fähigkeiten, z. B. die Übertragung von Aufgaben über verschiedene Einstellungen und Modalitäten hinweg. Der Code ist verfügbar unter https://github.com/LLaVA-VL/LLaVA-NeXT

English

Visual instruction tuning has made considerable strides in enhancing the capabilities of Large Multimodal Models (LMMs). However, existing open LMMs largely focus on single-image tasks, their applications to multi-image scenarios remains less explored. Additionally, prior LMM research separately tackles different scenarios, leaving it impossible to generalize cross scenarios with new emerging capabilities. To this end, we introduce LLaVA-NeXT-Interleave, which simultaneously tackles Multi-image, Multi-frame (video), Multi-view (3D), and Multi-patch (single-image) scenarios in LMMs. To enable these capabilities, we regard the interleaved data format as a general template and compile the M4-Instruct dataset with 1,177.6k samples, spanning 4 primary domains with 14 tasks and 41 datasets. We also curate the LLaVA-Interleave Bench to comprehensively evaluate the multi-image performance of LMMs. Through extensive experiments, LLaVA-NeXT-Interleave achieves leading results in multi-image, video, and 3D benchmarks, while maintaining the performance of single-image tasks. Besides, our model also exhibits several emerging capabilities, e.g., transferring tasks across different settings and modalities. Code is available at https://github.com/LLaVA-VL/LLaVA-NeXT