Video-MME : Le premier benchmark d'évaluation complet des modèles de langage multi-modaux pour l'analyse vidéo

Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis

May 31, 2024

Auteurs: Chaoyou Fu, Yuhan Dai, Yondong Luo, Lei Li, Shuhuai Ren, Renrui Zhang, Zihan Wang, Chenyu Zhou, Yunhang Shen, Mengdan Zhang, Peixian Chen, Yanwei Li, Shaohui Lin, Sirui Zhao, Ke Li, Tong Xu, Xiawu Zheng, Enhong Chen, Rongrong Ji, Xing Sun

cs.AI

Résumé

Dans la quête de l'intelligence artificielle générale, les modèles de langage multi-modaux de grande taille (MLLMs) sont devenus un point central des avancées récentes. Cependant, l'accent reste principalement mis sur le développement de leurs capacités dans la compréhension d'images statiques. Le potentiel des MLLMs dans le traitement de données visuelles séquentielles est encore insuffisamment exploré, ce qui souligne l'absence d'une évaluation complète et de haute qualité de leurs performances. Dans cet article, nous présentons Video-MME, le premier benchmark d'évaluation multi-modale à spectre complet des MLLMs dans l'analyse vidéo. Notre travail se distingue des benchmarks existants par quatre caractéristiques clés : 1) La diversité des types de vidéos, couvrant 6 domaines visuels principaux avec 30 sous-domaines pour assurer une généralisation à des scénarios variés ; 2) La durée dans la dimension temporelle, englobant des vidéos courtes, moyennes et longues, allant de 11 secondes à 1 heure, pour une dynamique contextuelle robuste ; 3) L'étendue des modalités de données, intégrant des entrées multi-modales en plus des images vidéo, y compris des sous-titres et des audios, pour révéler les capacités polyvalentes des MLLMs ; 4) La qualité des annotations, utilisant un étiquetage manuel rigoureux par des annotateurs experts pour faciliter une évaluation précise et fiable des modèles. 900 vidéos totalisant 256 heures ont été sélectionnées et annotées manuellement en visionnant plusieurs fois l'intégralité du contenu vidéo, aboutissant à 2 700 paires question-réponse. Avec Video-MME, nous évaluons de manière approfondie divers MLLMs de pointe, y compris les séries GPT-4 et Gemini 1.5 Pro, ainsi que des modèles open-source d'images comme InternVL-Chat-V1.5 et de vidéos comme LLaVA-NeXT-Video. Nos expériences révèlent que Gemini 1.5 Pro est le modèle commercial le plus performant, surpassant significativement les modèles open-source. Notre ensemble de données ainsi que ces résultats soulignent la nécessité d'améliorations supplémentaires dans la gestion de séquences plus longues et de données multi-modales. Page du projet : https://video-mme.github.io

English

In the quest for artificial general intelligence, Multi-modal Large Language Models (MLLMs) have emerged as a focal point in recent advancements. However, the predominant focus remains on developing their capabilities in static image understanding. The potential of MLLMs in processing sequential visual data is still insufficiently explored, highlighting the absence of a comprehensive, high-quality assessment of their performance. In this paper, we introduce Video-MME, the first-ever full-spectrum, Multi-Modal Evaluation benchmark of MLLMs in Video analysis. Our work distinguishes from existing benchmarks through four key features: 1) Diversity in video types, spanning 6 primary visual domains with 30 subfields to ensure broad scenario generalizability; 2) Duration in temporal dimension, encompassing both short-, medium-, and long-term videos, ranging from 11 seconds to 1 hour, for robust contextual dynamics; 3) Breadth in data modalities, integrating multi-modal inputs besides video frames, including subtitles and audios, to unveil the all-round capabilities of MLLMs; 4) Quality in annotations, utilizing rigorous manual labeling by expert annotators to facilitate precise and reliable model assessment. 900 videos with a total of 256 hours are manually selected and annotated by repeatedly viewing all the video content, resulting in 2,700 question-answer pairs. With Video-MME, we extensively evaluate various state-of-the-art MLLMs, including GPT-4 series and Gemini 1.5 Pro, as well as open-source image models like InternVL-Chat-V1.5 and video models like LLaVA-NeXT-Video. Our experiments reveal that Gemini 1.5 Pro is the best-performing commercial model, significantly outperforming the open-source models. Our dataset along with these findings underscores the need for further improvements in handling longer sequences and multi-modal data. Project Page: https://video-mme.github.io