LongVideoBench: Un banco de pruebas para la comprensión de video-lenguaje con contextos largos entrelazados

LongVideoBench: A Benchmark for Long-context Interleaved Video-Language Understanding

July 22, 2024

Autores: Haoning Wu, Dongxu Li, Bei Chen, Junnan Li

cs.AI

Resumen

Los modelos multimodales grandes (LMMs) están procesando entradas cada vez más largas y ricas. A pesar del progreso, hay pocos benchmarks públicos disponibles para medir dicho desarrollo. Para mitigar esta brecha, presentamos LongVideoBench, un benchmark de preguntas y respuestas que incluye entradas entrelazadas de video-idioma de hasta una hora de duración. Nuestro benchmark incluye 3,763 videos de longitud variable recopilados de la web con sus subtítulos en diversos temas, diseñados para evaluar de manera integral a los LMMs en la comprensión multimodal a largo plazo. Para lograr esto, interpretamos el desafío principal como recuperar y razonar con precisión sobre información multimodal detallada de entradas largas. Como tal, formulamos una nueva tarea de preguntas y respuestas de video denominada razonamiento referencial. Específicamente, como parte de la pregunta, contiene una consulta referencial que hace referencia a contextos de video relacionados, llamados contexto referido. Luego, se requiere que el modelo razona sobre detalles relevantes del video del contexto referido. Siguiendo el paradigma del razonamiento referencial, curamos 6,678 preguntas de opción múltiple anotadas por humanos en 17 categorías detalladas, estableciendo uno de los benchmarks más completos para la comprensión de videos de formato largo. Las evaluaciones sugieren que LongVideoBench presenta desafíos significativos incluso para los modelos propietarios más avanzados (por ejemplo, GPT-4o, Gemini-1.5-Pro, GPT-4-Turbo), mientras que sus contrapartes de código abierto muestran una brecha de rendimiento aún mayor. Además, nuestros resultados indican que el rendimiento del modelo en el benchmark mejora solo cuando son capaces de procesar más fotogramas, posicionando a LongVideoBench como un benchmark valioso para evaluar LMMs de contexto largo de próxima generación.

English

Large multimodal models (LMMs) are processing increasingly longer and richer inputs. Albeit the progress, few public benchmark is available to measure such development. To mitigate this gap, we introduce LongVideoBench, a question-answering benchmark that features video-language interleaved inputs up to an hour long. Our benchmark includes 3,763 varying-length web-collected videos with their subtitles across diverse themes, designed to comprehensively evaluate LMMs on long-term multimodal understanding. To achieve this, we interpret the primary challenge as to accurately retrieve and reason over detailed multimodal information from long inputs. As such, we formulate a novel video question-answering task termed referring reasoning. Specifically, as part of the question, it contains a referring query that references related video contexts, called referred context. The model is then required to reason over relevant video details from the referred context. Following the paradigm of referring reasoning, we curate 6,678 human-annotated multiple-choice questions in 17 fine-grained categories, establishing one of the most comprehensive benchmarks for long-form video understanding. Evaluations suggest that the LongVideoBench presents significant challenges even for the most advanced proprietary models (e.g. GPT-4o, Gemini-1.5-Pro, GPT-4-Turbo), while their open-source counterparts show an even larger performance gap. In addition, our results indicate that model performance on the benchmark improves only when they are capable of processing more frames, positioning LongVideoBench as a valuable benchmark for evaluating future-generation long-context LMMs.