Video-MME-Logical: Un Benchmark Diagnóstico Controlado para el Razonamiento Temporal-Lógico en Video

Resumen

El reciente interés en los modelos de lenguaje grandes multimodales (MLLMs) plantea una pregunta central: ¿pueden razonar sobre evidencia visual dinámica en lugar de limitarse a reconocer objetos o eventos en fotogramas individuales? Esta capacidad, a la que denominamos razonamiento lógico-temporal en video, requiere que los modelos mantengan, actualicen y compongan evidencia a medida que los estados visuales evolucionan a lo largo de los fotogramas. Los puntos de referencia de video existentes a menudo confunden esta capacidad con la complejidad de la escena, el reconocimiento estático o la variación temporal no controlada. Para aislar esta capacidad, presentamos Video-MME-Logical, un punto de referencia controlado organizado en torno a cinco operaciones lógico-temporales: seguimiento de estados, conteo secuencial, ordenamiento temporal, espacialidad dinámica y composición estructural. El punto de referencia contiene 25 categorías de tareas detalladas generadas con estados de objetos controlados, transiciones, dependencias temporales y composiciones lógicas. Permite una evaluación de la respuesta final con dificultad controlada al variar el horizonte temporal y la complejidad del razonamiento, y admite diagnósticos de estados intermedios al verificar si los modelos recuperan la traza de razonamiento lógico requerida antes de producir la respuesta final. Los experimentos con MLLMs de última generación revelan una brecha sustancial entre humanos y modelos, especialmente a medida que aumenta la complejidad lógico-temporal. El ajuste fino supervisado con hasta 500,000 muestras generadas mejora el rendimiento, pero sigue siendo insuficiente para cerrar la brecha de razonamiento, posicionando a Video-MME-Logical como un banco de pruebas escalable para analizar y mejorar el razonamiento lógico-temporal en MLLMs.

English

Recent interest in multimodal large language models (MLLMs) raises a central question: can they reason over dynamic visual evidence rather than merely recognize objects or events in individual frames? This ability, which we refer to as video temporal-logical reasoning, requires models to maintain, update, and compose evidence as visual states evolve across frames. Existing video benchmarks often conflate this capability with scene complexity, static recognition, or uncontrolled temporal variation. To isolate this capability, we introduce Video-MME-Logical, a controlled benchmark organized around five temporal-logical operations: state tracking, sequential counting, temporal ordering, dynamic spatiality, and structural composition. The benchmark contains 25 fine-grained task categories generated with controlled object states, transitions, temporal dependencies, and logical compositions. It enables difficulty-controlled final-answer evaluation by varying temporal horizon and reasoning complexity, and supports intermediate-state diagnostics by verifying whether models recover the required logical reasoning trace before producing the final answer. Experiments with state-of-the-art MLLMs reveal a substantial human-model gap, especially as temporal-logical complexity increases. Supervised fine-tuning on up to 500K generated samples improves performance but remains insufficient to close the reasoning gap, positioning Video-MME-Logical as a scalable testbed for analyzing and improving temporal-logical reasoning in MLLMs.