MMBench-Video: Um Benchmark de Longa Duração e Multi-Shot para Compreensão Holística de Vídeo
MMBench-Video: A Long-Form Multi-Shot Benchmark for Holistic Video Understanding
June 20, 2024
Autores: Xinyu Fang, Kangrui Mao, Haodong Duan, Xiangyu Zhao, Yining Li, Dahua Lin, Kai Chen
cs.AI
Resumo
O advento dos grandes modelos de visão e linguagem (LVLMs, na sigla em inglês) tem impulsionado pesquisas sobre suas aplicações em contextos multimodais, particularmente na compreensão de vídeos. Os benchmarks tradicionais de VideoQA, apesar de fornecerem métricas quantitativas, frequentemente falham em abranger todo o espectro do conteúdo de vídeo e avaliam de forma inadequada a compreensão temporal dos modelos. Para abordar essas limitações, introduzimos o MMBench-Video, um benchmark quantitativo projetado para avaliar rigorosamente a proficiência dos LVLMs na compreensão de vídeos. O MMBench-Video incorpora vídeos extensos do YouTube e emprega perguntas de formato livre, refletindo casos de uso práticos. O benchmark é meticulosamente elaborado para investigar as habilidades de raciocínio temporal dos modelos, com todas as perguntas anotadas manualmente de acordo com uma taxonomia de habilidades cuidadosamente construída. Utilizamos o GPT-4 para avaliação automatizada, demonstrando precisão e robustez superiores em comparação com avaliações anteriores baseadas em LLMs. Utilizando o MMBench-Video, conduzimos avaliações abrangentes que incluem tanto LVLMs proprietários quanto de código aberto para imagens e vídeos. O MMBench-Video se apresenta como um recurso valioso para a comunidade de pesquisa, facilitando uma avaliação aprimorada dos LVLMs e catalisando avanços no campo da compreensão de vídeos. O código de avaliação do MMBench-Video será integrado ao VLMEvalKit: https://github.com/open-compass/VLMEvalKit.
English
The advent of large vision-language models (LVLMs) has spurred research into
their applications in multi-modal contexts, particularly in video
understanding. Traditional VideoQA benchmarks, despite providing quantitative
metrics, often fail to encompass the full spectrum of video content and
inadequately assess models' temporal comprehension. To address these
limitations, we introduce MMBench-Video, a quantitative benchmark designed to
rigorously evaluate LVLMs' proficiency in video understanding. MMBench-Video
incorporates lengthy videos from YouTube and employs free-form questions,
mirroring practical use cases. The benchmark is meticulously crafted to probe
the models' temporal reasoning skills, with all questions human-annotated
according to a carefully constructed ability taxonomy. We employ GPT-4 for
automated assessment, demonstrating superior accuracy and robustness over
earlier LLM-based evaluations. Utilizing MMBench-Video, we have conducted
comprehensive evaluations that include both proprietary and open-source LVLMs
for images and videos. MMBench-Video stands as a valuable resource for the
research community, facilitating improved evaluation of LVLMs and catalyzing
progress in the field of video understanding. The evalutation code of
MMBench-Video will be integrated into VLMEvalKit:
https://github.com/open-compass/VLMEvalKit.