Video-MME: Der erste umfassende Evaluierungsmaßstab für Multi-Modal LLMs in der Videoanalyse

Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis

May 31, 2024

Autoren: Chaoyou Fu, Yuhan Dai, Yondong Luo, Lei Li, Shuhuai Ren, Renrui Zhang, Zihan Wang, Chenyu Zhou, Yunhang Shen, Mengdan Zhang, Peixian Chen, Yanwei Li, Shaohui Lin, Sirui Zhao, Ke Li, Tong Xu, Xiawu Zheng, Enhong Chen, Rongrong Ji, Xing Sun

cs.AI

Zusammenfassung

Auf der Suche nach künstlicher allgemeiner Intelligenz haben sich Multi-Modale Große Sprachmodelle (MLLMs) als ein zentraler Schwerpunkt bei den jüngsten Fortschritten herauskristallisiert. Dennoch liegt der vorherrschende Fokus weiterhin auf der Entwicklung ihrer Fähigkeiten im Verständnis statischer Bilder. Das Potenzial von MLLMs bei der Verarbeitung sequenzieller visueller Daten ist noch unzureichend erforscht, was auf das Fehlen einer umfassenden, hochwertigen Bewertung ihrer Leistung hinweist. In diesem Papier stellen wir Video-MME vor, den allerersten Vollspektrum-Multi-Modalen Evaluierungsbenchmark von MLLMs in der Videoanalyse. Unsere Arbeit unterscheidet sich von bestehenden Benchmarks durch vier Schlüsselfunktionen: 1) Vielfalt an Videotypen, die 6 primäre visuelle Domänen mit 30 Unterfeldern umfassen, um eine breite Szenariogeneralisierbarkeit sicherzustellen; 2) Dauer in der zeitlichen Dimension, die sowohl kurze, mittlere als auch langfristige Videos umfasst, von 11 Sekunden bis 1 Stunde, für robuste Kontextdynamik; 3) Breite an Datenmodalitäten, die Multi-Modale Eingaben neben Videoframes integrieren, einschließlich Untertiteln und Audios, um die vielseitigen Fähigkeiten von MLLMs aufzudecken; 4) Qualität in der Annotation, unter Verwendung rigoroser manueller Beschriftung durch Expertenannotatoren, um eine präzise und zuverlässige Modellbewertung zu ermöglichen. 900 Videos mit insgesamt 256 Stunden werden manuell ausgewählt und durch wiederholtes Ansehen des gesamten Videomaterials annotiert, was zu 2.700 Frage-Antwort-Paaren führt. Mit Video-MME evaluieren wir umfassend verschiedene Spitzen-MMLMs, einschließlich der GPT-4-Serie und Gemini 1.5 Pro, sowie Open-Source-Bildmodelle wie InternVL-Chat-V1.5 und Videomodelle wie LLaVA-NeXT-Video. Unsere Experimente zeigen, dass Gemini 1.5 Pro das leistungsstärkste kommerzielle Modell ist und die Open-Source-Modelle signifikant übertrifft. Unser Datensatz zusammen mit diesen Erkenntnissen unterstreicht die Notwendigkeit weiterer Verbesserungen im Umgang mit längeren Sequenzen und Multi-Modalen Daten. Projektseite: https://video-mme.github.io

English

In the quest for artificial general intelligence, Multi-modal Large Language Models (MLLMs) have emerged as a focal point in recent advancements. However, the predominant focus remains on developing their capabilities in static image understanding. The potential of MLLMs in processing sequential visual data is still insufficiently explored, highlighting the absence of a comprehensive, high-quality assessment of their performance. In this paper, we introduce Video-MME, the first-ever full-spectrum, Multi-Modal Evaluation benchmark of MLLMs in Video analysis. Our work distinguishes from existing benchmarks through four key features: 1) Diversity in video types, spanning 6 primary visual domains with 30 subfields to ensure broad scenario generalizability; 2) Duration in temporal dimension, encompassing both short-, medium-, and long-term videos, ranging from 11 seconds to 1 hour, for robust contextual dynamics; 3) Breadth in data modalities, integrating multi-modal inputs besides video frames, including subtitles and audios, to unveil the all-round capabilities of MLLMs; 4) Quality in annotations, utilizing rigorous manual labeling by expert annotators to facilitate precise and reliable model assessment. 900 videos with a total of 256 hours are manually selected and annotated by repeatedly viewing all the video content, resulting in 2,700 question-answer pairs. With Video-MME, we extensively evaluate various state-of-the-art MLLMs, including GPT-4 series and Gemini 1.5 Pro, as well as open-source image models like InternVL-Chat-V1.5 and video models like LLaVA-NeXT-Video. Our experiments reveal that Gemini 1.5 Pro is the best-performing commercial model, significantly outperforming the open-source models. Our dataset along with these findings underscores the need for further improvements in handling longer sequences and multi-modal data. Project Page: https://video-mme.github.io