MVU-Eval: Rumo à Avaliação da Compreensão Multivídeo para MLLMs Multimodais
MVU-Eval: Towards Multi-Video Understanding Evaluation for Multimodal LLMs
November 10, 2025
Autores: Tianhao Peng, Haochen Wang, Yuanxing Zhang, Zekun Wang, Zili Wang, Ge Zhang, Jian Yang, Shihao Li, Yanghai Wang, Xintao Wang, Houyi Li, Wei Ji, Pengfei Wan, Wenhao Huang, Zhaoxiang Zhang, Jiaheng Liu
cs.AI
Resumo
O advento dos Modelos de Linguagem de Grande Porte Multimodais (MLLMs) expandiu as capacidades da IA para modalidades visuais, no entanto, os benchmarks de avaliação existentes permanecem limitados à compreensão de vídeo único, negligenciando a necessidade crítica de compreensão multi-vídeo em cenários do mundo real (por exemplo, análise esportiva e condução autónoma). Para colmatar esta lacuna significativa, introduzimos o MVU-Eval, o primeiro benchmark abrangente para avaliar a Compreensão Multi-Vídeo em MLLMs. Especificamente, o nosso MVU-Eval avalia principalmente oito competências centrais através de 1.824 pares pergunta-resposta meticulosamente curados, abrangendo 4.959 vídeos de diversos domínios, abordando tanto tarefas de perceção fundamentais como tarefas de raciocínio de alta ordem. Estas capacidades estão rigorosamente alinhadas com aplicações do mundo real, como a síntese multi-sensor em sistemas autónomos e a análise esportiva de múltiplos ângulos. Através de uma avaliação extensiva de modelos *open-source* e *closed-source* state-of-the-art, revelamos discrepâncias de desempenho significativas e limitações na capacidade dos MLLMs atuais para realizar compreensão através de múltiplos vídeos. O benchmark será disponibilizado publicamente para fomentar pesquisas futuras.
English
The advent of Multimodal Large Language Models (MLLMs) has expanded AI
capabilities to visual modalities, yet existing evaluation benchmarks remain
limited to single-video understanding, overlooking the critical need for
multi-video understanding in real-world scenarios (e.g., sports analytics and
autonomous driving). To address this significant gap, we introduce MVU-Eval,
the first comprehensive benchmark for evaluating Multi-Video Understanding for
MLLMs. Specifically, our MVU-Eval mainly assesses eight core competencies
through 1,824 meticulously curated question-answer pairs spanning 4,959 videos
from diverse domains, addressing both fundamental perception tasks and
high-order reasoning tasks. These capabilities are rigorously aligned with
real-world applications such as multi-sensor synthesis in autonomous systems
and cross-angle sports analytics. Through extensive evaluation of
state-of-the-art open-source and closed-source models, we reveal significant
performance discrepancies and limitations in current MLLMs' ability to perform
understanding across multiple videos. The benchmark will be made publicly
available to foster future research.