Video SimpleQA: Naar een Evaluatie van Feitelijkheid in Grote Video-Taalmodellen

Video SimpleQA: Towards Factuality Evaluation in Large Video Language Models

March 24, 2025

Auteurs: Meng Cao, Pengfei Hu, Yingyao Wang, Jihao Gu, Haoran Tang, Haoze Zhao, Jiahua Dong, Wangbo Yu, Ge Zhang, Ian Reid, Xiaodan Liang

cs.AI

Samenvatting

Recente vooruitgang in Grote Video Taalmodellen (LVLMs) heeft hun potentieel voor multi-modale begripsvorming benadrukt, maar het evalueren van hun feitelijke grondigheid in videocontexten blijft een kritieke, onopgeloste uitdaging. Om deze kloof te dichten, introduceren we Video SimpleQA, de eerste uitgebreide benchmark die specifiek is ontworpen voor de evaluatie van de feitelijkheid van LVLMs. Ons werk onderscheidt zich van bestaande videobenchmarks door de volgende sleutelkenmerken: 1) Vereiste kennis: het vereist de integratie van externe kennis die verder gaat dan de expliciete narratief; 2) Feitzoekende vraag: gericht op objectieve, onbetwiste gebeurtenissen of relaties, waarbij subjectieve interpretatie wordt vermeden; 3) Definitief & kort antwoord: antwoorden zijn eenduidig en definitief correct in een kort formaat, wat geautomatiseerde evaluatie mogelijk maakt via LLM-as-a-judge frameworks met minimale scoringsvariantie; 4) Externe bron geverifieerd: alle annotaties ondergaan rigoureuze validatie tegen gezaghebbende externe referenties om de betrouwbaarheid te waarborgen; 5) Tijdelijke redenering vereist: de geannoteerde vraagtypen omvatten zowel statisch begrip van één frame als dynamische temporele redenering, waarbij expliciet de feitelijkheid van LVLMs wordt geëvalueerd onder langetermijncontextafhankelijkheden. We evalueren uitgebreid 41 state-of-the-art LVLMs en vatten de belangrijkste bevindingen als volgt samen: 1) Huidige LVLMs vertonen opmerkelijke tekortkomingen in feitelijke naleving, met name voor open-source modellen. Het best presterende model Gemini-1.5-Pro behaalt slechts een F-score van 54,4%; 2) Testtijd-rekenparadigma's laten onbeduidende prestatieverbeteringen zien, wat fundamentele beperkingen onthult voor het verbeteren van feitelijkheid via achteraf berekening; 3) Retrieval-Augmented Generation toont consistente verbeteringen tegen de kosten van extra inferentietijdoverhead, wat een kritieke efficiëntie-prestatieafweging presenteert.

English

Recent advancements in Large Video Language Models (LVLMs) have highlighted their potential for multi-modal understanding, yet evaluating their factual grounding in video contexts remains a critical unsolved challenge. To address this gap, we introduce Video SimpleQA, the first comprehensive benchmark tailored for factuality evaluation of LVLMs. Our work distinguishes from existing video benchmarks through the following key features: 1) Knowledge required: demanding integration of external knowledge beyond the explicit narrative; 2) Fact-seeking question: targeting objective, undisputed events or relationships, avoiding subjective interpretation; 3) Definitive & short-form answer: Answers are crafted as unambiguous and definitively correct in a short format, enabling automated evaluation through LLM-as-a-judge frameworks with minimal scoring variance; 4) External-source verified: All annotations undergo rigorous validation against authoritative external references to ensure the reliability; 5) Temporal reasoning required: The annotated question types encompass both static single-frame understanding and dynamic temporal reasoning, explicitly evaluating LVLMs factuality under the long-context dependencies. We extensively evaluate 41 state-of-the-art LVLMs and summarize key findings as follows: 1) Current LVLMs exhibit notable deficiencies in factual adherence, particularly for open-source models. The best-performing model Gemini-1.5-Pro achieves merely an F-score of 54.4%; 2) Test-time compute paradigms show insignificant performance gains, revealing fundamental constraints for enhancing factuality through post-hoc computation; 3) Retrieval-Augmented Generation demonstrates consistent improvements at the cost of additional inference time overhead, presenting a critical efficiency-performance trade-off.