MMBench-Video: Un punto de referencia de múltiples tomas y formato extenso para la comprensión holística de videos
MMBench-Video: A Long-Form Multi-Shot Benchmark for Holistic Video Understanding
June 20, 2024
Autores: Xinyu Fang, Kangrui Mao, Haodong Duan, Xiangyu Zhao, Yining Li, Dahua Lin, Kai Chen
cs.AI
Resumen
El surgimiento de los modelos grandes de visión y lenguaje (LVLMs, por sus siglas en inglés) ha impulsado la investigación sobre sus aplicaciones en contextos multimodales, particularmente en la comprensión de videos. Los puntos de referencia tradicionales de VideoQA, a pesar de proporcionar métricas cuantitativas, a menudo no logran abarcar el espectro completo del contenido de video y evalúan de manera insuficiente la comprensión temporal de los modelos. Para abordar estas limitaciones, presentamos MMBench-Video, un punto de referencia cuantitativo diseñado para evaluar rigurosamente la competencia de los LVLMs en la comprensión de videos. MMBench-Video incorpora videos extensos de YouTube y emplea preguntas de formato libre, reflejando casos de uso prácticos. El punto de referencia está meticulosamente elaborado para sondear las habilidades de razonamiento temporal de los modelos, con todas las preguntas anotadas manualmente según una taxonomía de habilidades cuidadosamente construida. Utilizamos GPT-4 para la evaluación automatizada, demostrando una precisión y robustez superiores en comparación con evaluaciones anteriores basadas en LLM. Utilizando MMBench-Video, hemos realizado evaluaciones exhaustivas que incluyen tanto LVLMs propietarios como de código abierto para imágenes y videos. MMBench-Video se erige como un recurso valioso para la comunidad de investigación, facilitando una mejor evaluación de los LVLMs y catalizando el progreso en el campo de la comprensión de videos. El código de evaluación de MMBench-Video se integrará en VLMEvalKit: https://github.com/open-compass/VLMEvalKit.
English
The advent of large vision-language models (LVLMs) has spurred research into
their applications in multi-modal contexts, particularly in video
understanding. Traditional VideoQA benchmarks, despite providing quantitative
metrics, often fail to encompass the full spectrum of video content and
inadequately assess models' temporal comprehension. To address these
limitations, we introduce MMBench-Video, a quantitative benchmark designed to
rigorously evaluate LVLMs' proficiency in video understanding. MMBench-Video
incorporates lengthy videos from YouTube and employs free-form questions,
mirroring practical use cases. The benchmark is meticulously crafted to probe
the models' temporal reasoning skills, with all questions human-annotated
according to a carefully constructed ability taxonomy. We employ GPT-4 for
automated assessment, demonstrating superior accuracy and robustness over
earlier LLM-based evaluations. Utilizing MMBench-Video, we have conducted
comprehensive evaluations that include both proprietary and open-source LVLMs
for images and videos. MMBench-Video stands as a valuable resource for the
research community, facilitating improved evaluation of LVLMs and catalyzing
progress in the field of video understanding. The evalutation code of
MMBench-Video will be integrated into VLMEvalKit:
https://github.com/open-compass/VLMEvalKit.