Razonamiento Espaciotemporal Aumentado con Herramientas para Optimizar la Tarea de Respuesta a Preguntas sobre Videos
Tool-Augmented Spatiotemporal Reasoning for Streamlining Video Question Answering Task
December 11, 2025
Autores: Sunqi Fan, Jiashuo Cui, Meng-Hao Guo, Shuojin Yang
cs.AI
Resumen
La tarea de Respuesta a Preguntas sobre Video (VideoQA) constituye un campo de evaluación crítico para determinar si los modelos fundacionales pueden percibir, comprender y razonar efectivamente sobre escenarios dinámicos del mundo real. Sin embargo, los Modelos de Lenguaje Grandes Multimodales (MLLM) existentes tienen dificultades para modelar simultáneamente las relaciones espaciales dentro de los fotogramas de video y comprender la dinámica causal de la evolución temporal en la compleja tarea de VideoQA, que requiere un razonamiento intensivo. En este trabajo, equipamos a los MLLM con un Kit de Herramientas de Video integral y extensible, para mejorar sus capacidades de razonamiento espaciotemporal y garantizar la armonía entre la cantidad y la diversidad de herramientas. Para controlar mejor la secuencia de invocación de herramientas y evitar problemas de atajos en la cadena de herramientas, proponemos un Marco de Razonamiento Espaciotemporal (STAR) que planifica estratégicamente herramientas temporales y espaciales, localizando así progresivamente el área clave en el video. Nuestro marco STAR mejora a GPT-4o utilizando herramientas ligeras, logrando una ganancia del 8.2% en VideoMME y del 4.6% en LongVideoBench. Creemos que nuestro Kit de Herramientas de Video propuesto y el marco STAR representan un paso importante hacia la construcción de asistentes de análisis de video autónomos e inteligentes. El código está disponible públicamente en https://github.com/fansunqi/VideoTool.
English
Video Question Answering (VideoQA) task serves as a critical playground for evaluating whether foundation models can effectively perceive, understand, and reason about dynamic real-world scenarios. However, existing Multimodal Large Language Models (MLLMs) struggle with simultaneously modeling spatial relationships within video frames and understanding the causal dynamics of temporal evolution on complex and reasoning-intensive VideoQA task. In this work, we equip MLLM with a comprehensive and extensible Video Toolkit, to enhance MLLM's spatiotemporal reasoning capabilities and ensure the harmony between the quantity and diversity of tools. To better control the tool invocation sequence and avoid toolchain shortcut issues, we propose a Spatiotemporal Reasoning Framework (STAR) that strategically schedules temporal and spatial tools, thereby progressively localizing the key area in the video. Our STAR framework enhances GPT-4o using lightweight tools, achieving an 8.2% gain on VideoMME and 4.6% on LongVideoBench. We believe that our proposed Video Toolkit and STAR framework make an important step towards building autonomous and intelligent video analysis assistants. The code is publicly available at https://github.com/fansunqi/VideoTool.