MMBench-Video : Un benchmark multi-séquences de longue durée pour une compréhension holistique des vidéos

MMBench-Video: A Long-Form Multi-Shot Benchmark for Holistic Video Understanding

June 20, 2024

Auteurs: Xinyu Fang, Kangrui Mao, Haodong Duan, Xiangyu Zhao, Yining Li, Dahua Lin, Kai Chen

cs.AI

Résumé

L'émergence des grands modèles vision-langage (LVLMs) a stimulé la recherche sur leurs applications dans des contextes multimodaux, en particulier dans la compréhension vidéo. Les benchmarks traditionnels de VideoQA, bien qu'ils fournissent des métriques quantitatives, échouent souvent à englober l'ensemble du spectre du contenu vidéo et évaluent insuffisamment la compréhension temporelle des modèles. Pour pallier ces limitations, nous introduisons MMBench-Video, un benchmark quantitatif conçu pour évaluer rigoureusement la compétence des LVLMs dans la compréhension vidéo. MMBench-Video intègre des vidéos longues provenant de YouTube et utilise des questions libres, reflétant des cas d'utilisation pratiques. Le benchmark est méticuleusement élaboré pour tester les compétences de raisonnement temporel des modèles, avec toutes les questions annotées manuellement selon une taxonomie des capacités soigneusement construite. Nous utilisons GPT-4 pour l'évaluation automatisée, démontrant une précision et une robustesse supérieures par rapport aux évaluations antérieures basées sur des LLM. En utilisant MMBench-Video, nous avons mené des évaluations exhaustives incluant à la fois des LVLMs propriétaires et open-source pour les images et les vidéos. MMBench-Video constitue une ressource précieuse pour la communauté de recherche, facilitant une meilleure évaluation des LVLMs et catalysant les progrès dans le domaine de la compréhension vidéo. Le code d'évaluation de MMBench-Video sera intégré dans VLMEvalKit : https://github.com/open-compass/VLMEvalKit.

English

The advent of large vision-language models (LVLMs) has spurred research into their applications in multi-modal contexts, particularly in video understanding. Traditional VideoQA benchmarks, despite providing quantitative metrics, often fail to encompass the full spectrum of video content and inadequately assess models' temporal comprehension. To address these limitations, we introduce MMBench-Video, a quantitative benchmark designed to rigorously evaluate LVLMs' proficiency in video understanding. MMBench-Video incorporates lengthy videos from YouTube and employs free-form questions, mirroring practical use cases. The benchmark is meticulously crafted to probe the models' temporal reasoning skills, with all questions human-annotated according to a carefully constructed ability taxonomy. We employ GPT-4 for automated assessment, demonstrating superior accuracy and robustness over earlier LLM-based evaluations. Utilizing MMBench-Video, we have conducted comprehensive evaluations that include both proprietary and open-source LVLMs for images and videos. MMBench-Video stands as a valuable resource for the research community, facilitating improved evaluation of LVLMs and catalyzing progress in the field of video understanding. The evalutation code of MMBench-Video will be integrated into VLMEvalKit: https://github.com/open-compass/VLMEvalKit.