MVU-Eval: Auf dem Weg zu einer Multi-Video-Verständnis-Evaluierung für multimodale LLMs
MVU-Eval: Towards Multi-Video Understanding Evaluation for Multimodal LLMs
November 10, 2025
papers.authors: Tianhao Peng, Haochen Wang, Yuanxing Zhang, Zekun Wang, Zili Wang, Ge Zhang, Jian Yang, Shihao Li, Yanghai Wang, Xintao Wang, Houyi Li, Wei Ji, Pengfei Wan, Wenhao Huang, Zhaoxiang Zhang, Jiaheng Liu
cs.AI
papers.abstract
Das Aufkommen multimodaler großer Sprachmodelle (MLLMs) hat die KI-Fähigkeiten auf visuelle Modalitäten ausgeweitet, doch bestehende Evaluierungsbenchmarks beschränken sich weiterhin auf das Verständnis einzelner Videos und übersehen dabei den kritischen Bedarf an Multi-Video-Verständnis in realen Szenarien (z.B. Sportanalysen und autonomes Fahren). Um diese bedeutende Lücke zu schließen, stellen wir MVU-Eval vor, die erste umfassende Benchmark zur Bewertung des Multi-Video-Verständnisses für MLLMs. Konkret bewertet unser MVU-Eval hauptsächlich acht Kernkompetenzen durch 1.824 sorgfältig zusammengestellte Frage-Antwort-Paare, die 4.959 Videos aus verschiedenen Domänen umfassen und sowohl grundlegende Wahrnehmungsaufgaben als auch höhere Reasoning-Aufgaben abdecken. Diese Fähigkeiten sind streng auf reale Anwendungen wie Multi-Sensor-Synthese in autonomen Systemen und perspektivenübergreifende Sportanalysen abgestimmt. Durch umfangreiche Evaluierung modernster Open-Source- und Closed-Source-Modelle zeigen wir erhebliche Leistungsunterschiede und Grenzen in der Fähigkeit aktueller MLLMs auf, Verständnis über mehrere Videos hinweg zu erbringen. Die Benchmark wird öffentlich zugänglich gemacht, um zukünftige Forschung zu fördern.
English
The advent of Multimodal Large Language Models (MLLMs) has expanded AI
capabilities to visual modalities, yet existing evaluation benchmarks remain
limited to single-video understanding, overlooking the critical need for
multi-video understanding in real-world scenarios (e.g., sports analytics and
autonomous driving). To address this significant gap, we introduce MVU-Eval,
the first comprehensive benchmark for evaluating Multi-Video Understanding for
MLLMs. Specifically, our MVU-Eval mainly assesses eight core competencies
through 1,824 meticulously curated question-answer pairs spanning 4,959 videos
from diverse domains, addressing both fundamental perception tasks and
high-order reasoning tasks. These capabilities are rigorously aligned with
real-world applications such as multi-sensor synthesis in autonomous systems
and cross-angle sports analytics. Through extensive evaluation of
state-of-the-art open-source and closed-source models, we reveal significant
performance discrepancies and limitations in current MLLMs' ability to perform
understanding across multiple videos. The benchmark will be made publicly
available to foster future research.