Video SimpleQA : Vers une évaluation de la factualité dans les grands modèles linguistiques vidéo

Video SimpleQA: Towards Factuality Evaluation in Large Video Language Models

March 24, 2025

Auteurs: Meng Cao, Pengfei Hu, Yingyao Wang, Jihao Gu, Haoran Tang, Haoze Zhao, Jiahua Dong, Wangbo Yu, Ge Zhang, Ian Reid, Xiaodan Liang

cs.AI

Résumé

Les récentes avancées dans les modèles de langage pour vidéos de grande envergure (LVLMs) ont mis en lumière leur potentiel pour la compréhension multi-modale, mais l'évaluation de leur ancrage factuel dans des contextes vidéo reste un défi critique non résolu. Pour combler cette lacune, nous introduisons Video SimpleQA, le premier benchmark complet conçu pour l'évaluation de la factualité des LVLMs. Notre travail se distingue des benchmarks vidéo existants par les caractéristiques clés suivantes : 1) Connaissance requise : nécessitant l'intégration de connaissances externes au-delà du récit explicite ; 2) Question factuelle : ciblant des événements ou des relations objectives et incontestées, évitant l'interprétation subjective ; 3) Réponse définitive et concise : Les réponses sont formulées de manière non ambiguë et définitivement correctes dans un format court, permettant une évaluation automatisée via des frameworks LLM-as-a-judge avec une variance de notation minimale ; 4) Vérification par source externe : Toutes les annotations sont rigoureusement validées par rapport à des références externes autorisées pour garantir la fiabilité ; 5) Raisonnement temporel requis : Les types de questions annotées englobent à la fois la compréhension statique d'une seule image et le raisonnement temporel dynamique, évaluant explicitement la factualité des LVLMs dans le cadre de dépendances contextuelles longues. Nous évaluons de manière approfondie 41 LVLMs de pointe et résumons les principales conclusions comme suit : 1) Les LVLMs actuels présentent des lacunes notables en matière d'adhésion factuelle, en particulier pour les modèles open-source. Le meilleur modèle, Gemini-1.5-Pro, atteint un score F de seulement 54,4 % ; 2) Les paradigmes de calcul en temps de test montrent des gains de performance insignifiants, révélant des contraintes fondamentales pour améliorer la factualité par le calcul post-hoc ; 3) La Génération Augmentée par Récupération démontre des améliorations constantes au prix d'un temps d'inférence supplémentaire, présentant un compromis critique entre efficacité et performance.

English

Recent advancements in Large Video Language Models (LVLMs) have highlighted their potential for multi-modal understanding, yet evaluating their factual grounding in video contexts remains a critical unsolved challenge. To address this gap, we introduce Video SimpleQA, the first comprehensive benchmark tailored for factuality evaluation of LVLMs. Our work distinguishes from existing video benchmarks through the following key features: 1) Knowledge required: demanding integration of external knowledge beyond the explicit narrative; 2) Fact-seeking question: targeting objective, undisputed events or relationships, avoiding subjective interpretation; 3) Definitive & short-form answer: Answers are crafted as unambiguous and definitively correct in a short format, enabling automated evaluation through LLM-as-a-judge frameworks with minimal scoring variance; 4) External-source verified: All annotations undergo rigorous validation against authoritative external references to ensure the reliability; 5) Temporal reasoning required: The annotated question types encompass both static single-frame understanding and dynamic temporal reasoning, explicitly evaluating LVLMs factuality under the long-context dependencies. We extensively evaluate 41 state-of-the-art LVLMs and summarize key findings as follows: 1) Current LVLMs exhibit notable deficiencies in factual adherence, particularly for open-source models. The best-performing model Gemini-1.5-Pro achieves merely an F-score of 54.4%; 2) Test-time compute paradigms show insignificant performance gains, revealing fundamental constraints for enhancing factuality through post-hoc computation; 3) Retrieval-Augmented Generation demonstrates consistent improvements at the cost of additional inference time overhead, presenting a critical efficiency-performance trade-off.