TVBench: Rediseñando la Evaluación de Video-Idioma

TVBench: Redesigning Video-Language Evaluation

October 10, 2024

Autores: Daniel Cores, Michael Dorkenwald, Manuel Mucientes, Cees G. M. Snoek, Yuki M. Asano

cs.AI

Resumen

Los grandes modelos de lenguaje han demostrado un rendimiento impresionante al integrarse con modelos de visión, incluso permitiendo la comprensión de videos. Sin embargo, evaluar estos modelos de video presenta sus propios desafíos únicos, para los cuales se han propuesto varios puntos de referencia. En este documento, mostramos que los puntos de referencia de video-lenguaje más utilizados actualmente pueden resolverse sin requerir mucho razonamiento temporal. Identificamos tres problemas principales en los conjuntos de datos existentes: (i) la información estática de fotogramas individuales a menudo es suficiente para resolver las tareas, (ii) el texto de las preguntas y respuestas candidatas es excesivamente informativo, lo que permite a los modelos responder correctamente sin depender de ninguna entrada visual, (iii) el conocimiento del mundo por sí solo puede responder a muchas de las preguntas, convirtiendo los puntos de referencia en una prueba de replicación de conocimiento en lugar de razonamiento visual. Además, descubrimos que los puntos de referencia de preguntas y respuestas abiertas para la comprensión de videos sufren problemas similares, mientras que el proceso de evaluación automática con LLMs es poco confiable, lo que lo convierte en una alternativa inadecuada. Como solución, proponemos TVBench, un nuevo punto de referencia de preguntas y respuestas de opción múltiple de video de código abierto, y demostramos a través de evaluaciones extensas que requiere un alto nivel de comprensión temporal. Sorprendentemente, encontramos que la mayoría de los modelos de video-lenguaje más avanzados recientes tienen un rendimiento similar al azar en TVBench, con solo Gemini-Pro y Tarsier superando claramente esta línea base.

English

Large language models have demonstrated impressive performance when integrated with vision models even enabling video understanding. However, evaluating these video models presents its own unique challenges, for which several benchmarks have been proposed. In this paper, we show that the currently most used video-language benchmarks can be solved without requiring much temporal reasoning. We identified three main issues in existing datasets: (i) static information from single frames is often sufficient to solve the tasks (ii) the text of the questions and candidate answers is overly informative, allowing models to answer correctly without relying on any visual input (iii) world knowledge alone can answer many of the questions, making the benchmarks a test of knowledge replication rather than visual reasoning. In addition, we found that open-ended question-answering benchmarks for video understanding suffer from similar issues while the automatic evaluation process with LLMs is unreliable, making it an unsuitable alternative. As a solution, we propose TVBench, a novel open-source video multiple-choice question-answering benchmark, and demonstrate through extensive evaluations that it requires a high level of temporal understanding. Surprisingly, we find that most recent state-of-the-art video-language models perform similarly to random performance on TVBench, with only Gemini-Pro and Tarsier clearly surpassing this baseline.