MVU-Eval : Vers une évaluation de la compréhension multi-vidéos pour les modèles de langage multimodaux
MVU-Eval: Towards Multi-Video Understanding Evaluation for Multimodal LLMs
November 10, 2025
papers.authors: Tianhao Peng, Haochen Wang, Yuanxing Zhang, Zekun Wang, Zili Wang, Ge Zhang, Jian Yang, Shihao Li, Yanghai Wang, Xintao Wang, Houyi Li, Wei Ji, Pengfei Wan, Wenhao Huang, Zhaoxiang Zhang, Jiaheng Liu
cs.AI
papers.abstract
L'émergence des modèles de langage multimodaux de grande taille (MLLMs) a étendu les capacités de l'IA aux modalités visuelles. Cependant, les benchmarks d'évaluation existants se limitent à la compréhension de vidéos uniques, négligeant le besoin critique de compréhension multi-vidéos dans des scénarios réels (par exemple, l'analyse sportive et la conduite autonome). Pour combler cette lacune importante, nous présentons MVU-Eval, le premier benchmark complet pour évaluer la compréhension multi-vidéos des MLLMs. Plus précisément, notre MVU-Eval évalue principalement huit compétences fondamentales à travers 1 824 paires question-réponse méticuleusement constituées, couvrant 4 959 vidéos issues de domaines variés et abordant à la fois des tâches de perception fondamentale et des tâches de raisonnement d'ordre supérieur. Ces capacités sont rigoureusement alignées sur des applications réelles telles que la synthèse multi-capteurs dans les systèmes autonomes et l'analyse sportive multi-angles. Grâce à une évaluation approfondie des modèles open-source et propriétaires les plus avancés, nous révélons des écarts de performance significatifs et des limitations dans la capacité des MLLMs actuels à réaliser une compréhension à travers plusieurs vidéos. Le benchmark sera rendu public pour favoriser les recherches futures.
English
The advent of Multimodal Large Language Models (MLLMs) has expanded AI
capabilities to visual modalities, yet existing evaluation benchmarks remain
limited to single-video understanding, overlooking the critical need for
multi-video understanding in real-world scenarios (e.g., sports analytics and
autonomous driving). To address this significant gap, we introduce MVU-Eval,
the first comprehensive benchmark for evaluating Multi-Video Understanding for
MLLMs. Specifically, our MVU-Eval mainly assesses eight core competencies
through 1,824 meticulously curated question-answer pairs spanning 4,959 videos
from diverse domains, addressing both fundamental perception tasks and
high-order reasoning tasks. These capabilities are rigorously aligned with
real-world applications such as multi-sensor synthesis in autonomous systems
and cross-angle sports analytics. Through extensive evaluation of
state-of-the-art open-source and closed-source models, we reveal significant
performance discrepancies and limitations in current MLLMs' ability to perform
understanding across multiple videos. The benchmark will be made publicly
available to foster future research.