Video-Holmes: ¿Puede MLLM Pensar como Holmes para el Razonamiento Complejo en Videos?

Video-Holmes: Can MLLM Think Like Holmes for Complex Video Reasoning?

May 27, 2025

Autores: Junhao Cheng, Yuying Ge, Teng Wang, Yixiao Ge, Jing Liao, Ying Shan

cs.AI

Resumen

Los recientes avances en el razonamiento CoT y el entrenamiento posterior con RL han demostrado mejorar las capacidades de razonamiento en video de los MLLM. Este progreso plantea naturalmente una pregunta: ¿pueden estos modelos realizar un razonamiento complejo en video de manera comparable a expertos humanos? Sin embargo, los benchmarks de video existentes evalúan principalmente la percepción visual y las habilidades de fundamentación, con preguntas que pueden responderse basándose en indicaciones explícitas o pistas visuales aisladas. Dichos benchmarks no capturan plenamente las complejidades del razonamiento del mundo real, donde los humanos deben buscar activamente, integrar y analizar múltiples pistas antes de llegar a una conclusión. Para abordar este problema, presentamos Video-Holmes, un benchmark inspirado en el proceso de razonamiento de Sherlock Holmes, diseñado para evaluar las capacidades de razonamiento complejo en video de los MLLM. Video-Holmes consta de 1,837 preguntas derivadas de 270 cortometrajes de suspenso anotados manualmente, que abarcan siete tareas cuidadosamente diseñadas. Cada tarea se construye identificando primero eventos clave y relaciones causales dentro de las películas, y luego diseñando preguntas que requieren que los modelos localicen y conecten activamente múltiples pistas visuales relevantes dispersas en diferentes segmentos de video. Nuestra evaluación exhaustiva de los MLLM más avanzados revela que, aunque estos modelos generalmente sobresalen en percepción visual, encuentran dificultades sustanciales para integrar información y a menudo pasan por alto pistas críticas. Por ejemplo, el modelo con mejor rendimiento, Gemini-2.5-Pro, alcanza una precisión de solo el 45%, con la mayoría de los modelos obteniendo puntuaciones inferiores al 40%. Nuestro objetivo es que Video-Holmes sirva como una "prueba de Holmes" para el razonamiento multimodal, motivando a los modelos a razonar más como humanos y destacando los desafíos continuos en este campo. El benchmark está disponible en https://github.com/TencentARC/Video-Holmes.

English

Recent advances in CoT reasoning and RL post-training have been reported to enhance video reasoning capabilities of MLLMs. This progress naturally raises a question: can these models perform complex video reasoning in a manner comparable to human experts? However, existing video benchmarks primarily evaluate visual perception and grounding abilities, with questions that can be answered based on explicit prompts or isolated visual cues. Such benchmarks do not fully capture the intricacies of real-world reasoning, where humans must actively search for, integrate, and analyze multiple clues before reaching a conclusion. To address this issue, we present Video-Holmes, a benchmark inspired by the reasoning process of Sherlock Holmes, designed to evaluate the complex video reasoning capabilities of MLLMs. Video-Holmes consists of 1,837 questions derived from 270 manually annotated suspense short films, which spans seven carefully designed tasks. Each task is constructed by first identifying key events and causal relationships within films, and then designing questions that require models to actively locate and connect multiple relevant visual clues scattered across different video segments. Our comprehensive evaluation of state-of-the-art MLLMs reveals that, while these models generally excel at visual perception, they encounter substantial difficulties with integrating information and often miss critical clues. For example, the best-performing model, Gemini-2.5-Pro, achieves an accuracy of only 45%, with most models scoring below 40%. We aim that Video-Holmes can serve as a "Holmes-test" for multimodal reasoning, motivating models to reason more like humans and emphasizing the ongoing challenges in this field. The benchmark is released in https://github.com/TencentARC/Video-Holmes.