Video-MME: Il primo benchmark di valutazione completo per modelli linguistici multi-modali nell'analisi video

Abstract

Nella ricerca dell'intelligenza artificiale generale, i Modelli Linguistici Multimodali di Grande Scala (MLLMs) sono emersi come un punto focale nei recenti progressi. Tuttavia, l'attenzione predominante rimane sullo sviluppo delle loro capacità nella comprensione di immagini statiche. Il potenziale degli MLLMs nell'elaborazione di dati visivi sequenziali è ancora insufficientemente esplorato, evidenziando l'assenza di una valutazione completa e di alta qualità delle loro prestazioni. In questo articolo, introduciamo Video-MME, il primo benchmark di valutazione multimodale a spettro completo per l'analisi video degli MLLMs. Il nostro lavoro si distingue dai benchmark esistenti attraverso quattro caratteristiche chiave: 1) Diversità nei tipi di video, che coprono 6 domini visivi principali con 30 sottocampi per garantire un'ampia generalizzabilità degli scenari; 2) Durata nella dimensione temporale, che comprende video a breve, medio e lungo termine, da 11 secondi a 1 ora, per una dinamica contestuale robusta; 3) Ampiezza nelle modalità dei dati, integrando input multimodali oltre ai fotogrammi video, inclusi sottotitoli e audio, per rivelare le capacità complete degli MLLMs; 4) Qualità nelle annotazioni, utilizzando un'etichettatura manuale rigorosa da parte di annotatori esperti per facilitare una valutazione precisa e affidabile del modello. 900 video per un totale di 256 ore sono stati selezionati e annotati manualmente visionando ripetutamente tutto il contenuto video, risultando in 2.700 coppie domanda-risposta. Con Video-MME, valutiamo estensivamente vari MLLMs all'avanguardia, inclusi le serie GPT-4 e Gemini 1.5 Pro, nonché modelli open-source per immagini come InternVL-Chat-V1.5 e modelli video come LLaVA-NeXT-Video. I nostri esperimenti rivelano che Gemini 1.5 Pro è il modello commerciale con le migliori prestazioni, superando significativamente i modelli open-source. Il nostro dataset insieme a questi risultati sottolinea la necessità di ulteriori miglioramenti nella gestione di sequenze più lunghe e dati multimodali. Pagina del progetto: https://video-mme.github.io

English

In the quest for artificial general intelligence, Multi-modal Large Language Models (MLLMs) have emerged as a focal point in recent advancements. However, the predominant focus remains on developing their capabilities in static image understanding. The potential of MLLMs in processing sequential visual data is still insufficiently explored, highlighting the absence of a comprehensive, high-quality assessment of their performance. In this paper, we introduce Video-MME, the first-ever full-spectrum, Multi-Modal Evaluation benchmark of MLLMs in Video analysis. Our work distinguishes from existing benchmarks through four key features: 1) Diversity in video types, spanning 6 primary visual domains with 30 subfields to ensure broad scenario generalizability; 2) Duration in temporal dimension, encompassing both short-, medium-, and long-term videos, ranging from 11 seconds to 1 hour, for robust contextual dynamics; 3) Breadth in data modalities, integrating multi-modal inputs besides video frames, including subtitles and audios, to unveil the all-round capabilities of MLLMs; 4) Quality in annotations, utilizing rigorous manual labeling by expert annotators to facilitate precise and reliable model assessment. 900 videos with a total of 256 hours are manually selected and annotated by repeatedly viewing all the video content, resulting in 2,700 question-answer pairs. With Video-MME, we extensively evaluate various state-of-the-art MLLMs, including GPT-4 series and Gemini 1.5 Pro, as well as open-source image models like InternVL-Chat-V1.5 and video models like LLaVA-NeXT-Video. Our experiments reveal that Gemini 1.5 Pro is the best-performing commercial model, significantly outperforming the open-source models. Our dataset along with these findings underscores the need for further improvements in handling longer sequences and multi-modal data. Project Page: https://video-mme.github.io

Video-MME: Il primo benchmark di valutazione completo per modelli linguistici multi-modali nell'analisi video

Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis

Abstract

Support