Raciocínio Espaço-Temporal Aumentado por Ferramentas para Simplificar a Tarefa de Resposta a Perguntas em Vídeo
Tool-Augmented Spatiotemporal Reasoning for Streamlining Video Question Answering Task
December 11, 2025
Autores: Sunqi Fan, Jiashuo Cui, Meng-Hao Guo, Shuojin Yang
cs.AI
Resumo
A tarefa de Resposta a Perguntas em Vídeo (VideoQA) serve como um campo de prova crítico para avaliar se os modelos de base conseguem perceber, compreender e raciocinar eficazmente sobre cenários dinâmicos do mundo real. No entanto, os atuais Modelos de Linguagem Multimodais de Grande Escala (MLLMs) debatem-se com a modelação simultânea de relações espaciais dentro dos fotogramas de vídeo e a compreensão da dinâmica causal da evolução temporal em tarefas de VideoQA complexas e intensivas em raciocínio. Neste trabalho, equipamos os MLLMs com um Kit de Ferramentas de Vídeo abrangente e extensível, para melhorar as suas capacidades de raciocínio espaço-temporal e garantir a harmonia entre a quantidade e a diversidade de ferramentas. Para controlar melhor a sequência de invocação de ferramentas e evitar problemas de atalhos na cadeia de ferramentas, propomos uma Estrutura de Raciocínio Espaço-Temporal (STAR) que agenda estrategicamente ferramentas temporais e espaciais, localizando progressivamente a área-chave no vídeo. A nossa estrutura STAR melhora o GPT-4o utilizando ferramentas leves, alcançando um ganho de 8,2% no VideoMME e 4,6% no LongVideoBench. Acreditamos que o Kit de Ferramentas de Vídeo proposto e a estrutura STAR representam um passo importante na construção de assistentes de análise de vídeo autónomos e inteligentes. O código está publicamente disponível em https://github.com/fansunqi/VideoTool.
English
Video Question Answering (VideoQA) task serves as a critical playground for evaluating whether foundation models can effectively perceive, understand, and reason about dynamic real-world scenarios. However, existing Multimodal Large Language Models (MLLMs) struggle with simultaneously modeling spatial relationships within video frames and understanding the causal dynamics of temporal evolution on complex and reasoning-intensive VideoQA task. In this work, we equip MLLM with a comprehensive and extensible Video Toolkit, to enhance MLLM's spatiotemporal reasoning capabilities and ensure the harmony between the quantity and diversity of tools. To better control the tool invocation sequence and avoid toolchain shortcut issues, we propose a Spatiotemporal Reasoning Framework (STAR) that strategically schedules temporal and spatial tools, thereby progressively localizing the key area in the video. Our STAR framework enhances GPT-4o using lightweight tools, achieving an 8.2% gain on VideoMME and 4.6% on LongVideoBench. We believe that our proposed Video Toolkit and STAR framework make an important step towards building autonomous and intelligent video analysis assistants. The code is publicly available at https://github.com/fansunqi/VideoTool.