MMBench-Video: Een Benchmark voor Langdurige Multi-Shot Holistische Video-Interpretatie
MMBench-Video: A Long-Form Multi-Shot Benchmark for Holistic Video Understanding
June 20, 2024
Auteurs: Xinyu Fang, Kangrui Mao, Haodong Duan, Xiangyu Zhao, Yining Li, Dahua Lin, Kai Chen
cs.AI
Samenvatting
De opkomst van grote visie-taalmodellen (LVLMs) heeft onderzoek gestimuleerd naar hun toepassingen in multimodale contexten, met name op het gebied van videobegrip. Traditionele VideoQA-benchmarks, hoewel ze kwantitatieve metriek bieden, slagen er vaak niet in het volledige spectrum van video-inhoud te omvatten en beoordelen de temporele begripsvaardigheden van modellen onvoldoende. Om deze beperkingen aan te pakken, introduceren we MMBench-Video, een kwantitatieve benchmark die ontworpen is om de vaardigheid van LVLMs in videobegrip rigoureus te evalueren. MMBench-Video omvat lange video's van YouTube en maakt gebruik van open vragen, wat praktische use cases weerspiegelt. De benchmark is zorgvuldig opgesteld om de temporele redeneervaardigheden van modellen te testen, waarbij alle vragen door mensen zijn geannoteerd volgens een zorgvuldig opgestelde vaardigheidstaxonomie. We gebruiken GPT-4 voor geautomatiseerde beoordeling, wat een superieure nauwkeurigheid en robuustheid laat zien in vergelijking met eerdere LLM-gebaseerde evaluaties. Met behulp van MMBench-Video hebben we uitgebreide evaluaties uitgevoerd die zowel propriëtaire als open-source LVLMs voor afbeeldingen en video's omvatten. MMBench-Video vormt een waardevolle bron voor de onderzoeksgemeenschap, die een verbeterde evaluatie van LVLMs mogelijk maakt en vooruitgang in het veld van videobegrip stimuleert. De evaluatiecode van MMBench-Video zal worden geïntegreerd in VLMEvalKit: https://github.com/open-compass/VLMEvalKit.
English
The advent of large vision-language models (LVLMs) has spurred research into
their applications in multi-modal contexts, particularly in video
understanding. Traditional VideoQA benchmarks, despite providing quantitative
metrics, often fail to encompass the full spectrum of video content and
inadequately assess models' temporal comprehension. To address these
limitations, we introduce MMBench-Video, a quantitative benchmark designed to
rigorously evaluate LVLMs' proficiency in video understanding. MMBench-Video
incorporates lengthy videos from YouTube and employs free-form questions,
mirroring practical use cases. The benchmark is meticulously crafted to probe
the models' temporal reasoning skills, with all questions human-annotated
according to a carefully constructed ability taxonomy. We employ GPT-4 for
automated assessment, demonstrating superior accuracy and robustness over
earlier LLM-based evaluations. Utilizing MMBench-Video, we have conducted
comprehensive evaluations that include both proprietary and open-source LVLMs
for images and videos. MMBench-Video stands as a valuable resource for the
research community, facilitating improved evaluation of LVLMs and catalyzing
progress in the field of video understanding. The evalutation code of
MMBench-Video will be integrated into VLMEvalKit:
https://github.com/open-compass/VLMEvalKit.