MVU-Eval: в направлении оценки понимания множества видео для мультимодальных больших языковых моделей
MVU-Eval: Towards Multi-Video Understanding Evaluation for Multimodal LLMs
November 10, 2025
Авторы: Tianhao Peng, Haochen Wang, Yuanxing Zhang, Zekun Wang, Zili Wang, Ge Zhang, Jian Yang, Shihao Li, Yanghai Wang, Xintao Wang, Houyi Li, Wei Ji, Pengfei Wan, Wenhao Huang, Zhaoxiang Zhang, Jiaheng Liu
cs.AI
Аннотация
Появление мультимодальных больших языковых моделей (MLLM) расширило возможности искусственного интеллекта на визуальные модальности, однако существующие оценочные тесты остаются ограничены пониманием одиночных видео, игнорируя критически важную потребность в понимании множественных видео в реальных сценариях (например, спортивная аналитика и автономное вождение). Чтобы устранить этот значительный пробел, мы представляем MVU-Eval — первый комплексный тест для оценки способности MLLM к пониманию множественных видео. В частности, наш MVU-Eval в основном оценивает восемь ключевых компетенций с помощью 1824 тщательно отобранных пар "вопрос-ответ", охватывающих 4959 видео из различных областей, и адресует как фундаментальные задачи восприятия, так и задачи логического вывода высокого порядка. Эти возможности строго согласованы с реальными приложениями, такими как синтез данных от нескольких сенсоров в автономных системах и кросс-угловая спортивная аналитика. В результате масштабной оценки современных моделей с открытым и закрытым исходным кодом мы выявляем значительные расхождения в производительности и ограничения в текущей способности MLLM выполнять понимание на основе нескольких видео. Тест будет общедоступен для содействия будущим исследованиям.
English
The advent of Multimodal Large Language Models (MLLMs) has expanded AI
capabilities to visual modalities, yet existing evaluation benchmarks remain
limited to single-video understanding, overlooking the critical need for
multi-video understanding in real-world scenarios (e.g., sports analytics and
autonomous driving). To address this significant gap, we introduce MVU-Eval,
the first comprehensive benchmark for evaluating Multi-Video Understanding for
MLLMs. Specifically, our MVU-Eval mainly assesses eight core competencies
through 1,824 meticulously curated question-answer pairs spanning 4,959 videos
from diverse domains, addressing both fundamental perception tasks and
high-order reasoning tasks. These capabilities are rigorously aligned with
real-world applications such as multi-sensor synthesis in autonomous systems
and cross-angle sports analytics. Through extensive evaluation of
state-of-the-art open-source and closed-source models, we reveal significant
performance discrepancies and limitations in current MLLMs' ability to perform
understanding across multiple videos. The benchmark will be made publicly
available to foster future research.