Video-MME: De eerste uitgebreide evaluatiebenchmark voor multi-modale LLM's in video-analyse

Samenvatting

In de zoektocht naar kunstmatige algemene intelligentie zijn Multi-modale Grote Taalmodellen (MLLMs) een belangrijk aandachtspunt geworden in recente ontwikkelingen. Het huidige onderzoek richt zich echter vooral op het verbeteren van hun vermogen om statische afbeeldingen te begrijpen. Het potentieel van MLLMs voor het verwerken van sequentiële visuele gegevens is nog onvoldoende onderzocht, wat het ontbreken van een uitgebreide, hoogwaardige evaluatie van hun prestaties benadrukt. In dit artikel introduceren we Video-MME, de eerste volledige Multi-modale Evaluatiebenchmark voor MLLMs in video-analyse. Ons werk onderscheidt zich van bestaande benchmarks door vier belangrijke kenmerken: 1) Diversiteit in videotypen, met 6 primaire visuele domeinen en 30 subgebieden om brede scenario-generaliseerbaarheid te garanderen; 2) Duur in de tijdsdimensie, met korte-, middellange- en langetermijnvideo's, variërend van 11 seconden tot 1 uur, voor robuuste contextuele dynamiek; 3) Breedte in datamodaliteiten, waarbij naast videobeelden ook multi-modale invoer zoals ondertitels en audio wordt geïntegreerd om de alomvattende mogelijkheden van MLLMs te onthullen; 4) Kwaliteit in annotaties, met strikte handmatige labeling door expert-annotators om nauwkeurige en betrouwbare modelbeoordeling mogelijk te maken. 900 video's met een totale duur van 256 uur zijn handmatig geselecteerd en geannoteerd door herhaaldelijk alle video-inhoud te bekijken, wat resulteert in 2.700 vraag-antwoordparen. Met Video-MME evalueren we uitgebreid verschillende state-of-the-art MLLMs, waaronder de GPT-4-serie en Gemini 1.5 Pro, evenals open-source beeldmodellen zoals InternVL-Chat-V1.5 en videomodellen zoals LLaVA-NeXT-Video. Onze experimenten tonen aan dat Gemini 1.5 Pro het best presterende commerciële model is, dat de open-source modellen aanzienlijk overtreft. Onze dataset en deze bevindingen onderstrepen de noodzaak van verdere verbeteringen in het omgaan met langere sequenties en multi-modale gegevens. Projectpagina: https://video-mme.github.io

English

In the quest for artificial general intelligence, Multi-modal Large Language Models (MLLMs) have emerged as a focal point in recent advancements. However, the predominant focus remains on developing their capabilities in static image understanding. The potential of MLLMs in processing sequential visual data is still insufficiently explored, highlighting the absence of a comprehensive, high-quality assessment of their performance. In this paper, we introduce Video-MME, the first-ever full-spectrum, Multi-Modal Evaluation benchmark of MLLMs in Video analysis. Our work distinguishes from existing benchmarks through four key features: 1) Diversity in video types, spanning 6 primary visual domains with 30 subfields to ensure broad scenario generalizability; 2) Duration in temporal dimension, encompassing both short-, medium-, and long-term videos, ranging from 11 seconds to 1 hour, for robust contextual dynamics; 3) Breadth in data modalities, integrating multi-modal inputs besides video frames, including subtitles and audios, to unveil the all-round capabilities of MLLMs; 4) Quality in annotations, utilizing rigorous manual labeling by expert annotators to facilitate precise and reliable model assessment. 900 videos with a total of 256 hours are manually selected and annotated by repeatedly viewing all the video content, resulting in 2,700 question-answer pairs. With Video-MME, we extensively evaluate various state-of-the-art MLLMs, including GPT-4 series and Gemini 1.5 Pro, as well as open-source image models like InternVL-Chat-V1.5 and video models like LLaVA-NeXT-Video. Our experiments reveal that Gemini 1.5 Pro is the best-performing commercial model, significantly outperforming the open-source models. Our dataset along with these findings underscores the need for further improvements in handling longer sequences and multi-modal data. Project Page: https://video-mme.github.io

Video-MME: De eerste uitgebreide evaluatiebenchmark voor multi-modale LLM's in video-analyse

Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis

Samenvatting

Support