MVU-Eval: Verso una Valutazione della Comprensione Multi-Video per Modelli Linguistici Multimodali
MVU-Eval: Towards Multi-Video Understanding Evaluation for Multimodal LLMs
November 10, 2025
Autori: Tianhao Peng, Haochen Wang, Yuanxing Zhang, Zekun Wang, Zili Wang, Ge Zhang, Jian Yang, Shihao Li, Yanghai Wang, Xintao Wang, Houyi Li, Wei Ji, Pengfei Wan, Wenhao Huang, Zhaoxiang Zhang, Jiaheng Liu
cs.AI
Abstract
L'avvento dei Modelli Linguistici Multimodali di Grande Scala (MLLM) ha esteso le capacità dell'IA alle modalità visive, tuttavia i benchmark di valutazione esistenti rimangono limitati alla comprensione di video singoli, trascurando l'esigenza critica della comprensione multi-video negli scenari del mondo reale (ad esempio, l'analisi sportiva e la guida autonoma). Per colmare questa significativa lacuna, introduciamo MVU-Eval, il primo benchmark completo per valutare la Comprensione Multi-Video negli MLLM. Nello specifico, il nostro MVU-Eval valuta principalmente otto competenze fondamentali attraverso 1.824 coppie domanda-risposta meticolosamente curate, che abbracciano 4.959 video provenienti da domini diversi, affrontando sia compiti di percezione di base che compiti di ragionamento di alto ordine. Queste capacità sono rigorosamente allineate con applicazioni del mondo reale come la sintesi multi-sensore nei sistemi autonomi e l'analisi sportiva multi-angolazione. Attraverso una valutazione estesa dei modelli open-source e closed-source all'avanguardia, riveliamo significative discrepanze prestazionali e limitazioni nella capacità degli MLLM attuali di eseguire comprensione attraverso video multipli. Il benchmark sarà reso pubblicamente disponibile per promuovere la ricerca futura.
English
The advent of Multimodal Large Language Models (MLLMs) has expanded AI
capabilities to visual modalities, yet existing evaluation benchmarks remain
limited to single-video understanding, overlooking the critical need for
multi-video understanding in real-world scenarios (e.g., sports analytics and
autonomous driving). To address this significant gap, we introduce MVU-Eval,
the first comprehensive benchmark for evaluating Multi-Video Understanding for
MLLMs. Specifically, our MVU-Eval mainly assesses eight core competencies
through 1,824 meticulously curated question-answer pairs spanning 4,959 videos
from diverse domains, addressing both fundamental perception tasks and
high-order reasoning tasks. These capabilities are rigorously aligned with
real-world applications such as multi-sensor synthesis in autonomous systems
and cross-angle sports analytics. Through extensive evaluation of
state-of-the-art open-source and closed-source models, we reveal significant
performance discrepancies and limitations in current MLLMs' ability to perform
understanding across multiple videos. The benchmark will be made publicly
available to foster future research.