Video SimpleQA: Hacia la Evaluación de la Veracidad en Modelos de Lenguaje de Video a Gran Escala

Video SimpleQA: Towards Factuality Evaluation in Large Video Language Models

March 24, 2025

Autores: Meng Cao, Pengfei Hu, Yingyao Wang, Jihao Gu, Haoran Tang, Haoze Zhao, Jiahua Dong, Wangbo Yu, Ge Zhang, Ian Reid, Xiaodan Liang

cs.AI

Resumen

Los recientes avances en los Modelos de Lenguaje de Video a Gran Escala (LVLMs, por sus siglas en inglés) han destacado su potencial para la comprensión multimodal, aunque la evaluación de su fundamentación factual en contextos de video sigue siendo un desafío crítico sin resolver. Para abordar esta brecha, presentamos Video SimpleQA, el primer punto de referencia integral diseñado específicamente para la evaluación de la factualidad en LVLMs. Nuestro trabajo se distingue de los benchmarks de video existentes a través de las siguientes características clave: 1) Conocimiento requerido: exige la integración de conocimiento externo más allá de la narrativa explícita; 2) Preguntas orientadas a hechos: se enfocan en eventos o relaciones objetivas e indiscutibles, evitando interpretaciones subjetivas; 3) Respuestas definitivas y breves: las respuestas están diseñadas para ser inequívocas y correctas en un formato corto, permitiendo una evaluación automatizada mediante marcos de LLM-como-juez con una variación mínima en la puntuación; 4) Verificación con fuentes externas: todas las anotaciones se validan rigurosamente con referencias externas autorizadas para garantizar su fiabilidad; 5) Razonamiento temporal requerido: los tipos de preguntas anotadas abarcan tanto la comprensión estática de un solo fotograma como el razonamiento temporal dinámico, evaluando explícitamente la factualidad de los LVLMs bajo dependencias de contexto largo. Evaluamos extensamente 41 LVLMs de última generación y resumimos los hallazgos clave de la siguiente manera: 1) Los LVLMs actuales muestran deficiencias notables en la adherencia factual, particularmente en los modelos de código abierto. El modelo con mejor rendimiento, Gemini-1.5-Pro, alcanza apenas un F-score del 54.4%; 2) Los paradigmas de cómputo en tiempo de prueba muestran ganancias de rendimiento insignificantes, revelando limitaciones fundamentales para mejorar la factualidad mediante cómputos posteriores; 3) La Generación Aumentada con Recuperación demuestra mejoras consistentes a costa de un tiempo adicional de inferencia, presentando una compensación crítica entre eficiencia y rendimiento.

English

Recent advancements in Large Video Language Models (LVLMs) have highlighted their potential for multi-modal understanding, yet evaluating their factual grounding in video contexts remains a critical unsolved challenge. To address this gap, we introduce Video SimpleQA, the first comprehensive benchmark tailored for factuality evaluation of LVLMs. Our work distinguishes from existing video benchmarks through the following key features: 1) Knowledge required: demanding integration of external knowledge beyond the explicit narrative; 2) Fact-seeking question: targeting objective, undisputed events or relationships, avoiding subjective interpretation; 3) Definitive & short-form answer: Answers are crafted as unambiguous and definitively correct in a short format, enabling automated evaluation through LLM-as-a-judge frameworks with minimal scoring variance; 4) External-source verified: All annotations undergo rigorous validation against authoritative external references to ensure the reliability; 5) Temporal reasoning required: The annotated question types encompass both static single-frame understanding and dynamic temporal reasoning, explicitly evaluating LVLMs factuality under the long-context dependencies. We extensively evaluate 41 state-of-the-art LVLMs and summarize key findings as follows: 1) Current LVLMs exhibit notable deficiencies in factual adherence, particularly for open-source models. The best-performing model Gemini-1.5-Pro achieves merely an F-score of 54.4%; 2) Test-time compute paradigms show insignificant performance gains, revealing fundamental constraints for enhancing factuality through post-hoc computation; 3) Retrieval-Augmented Generation demonstrates consistent improvements at the cost of additional inference time overhead, presenting a critical efficiency-performance trade-off.