Ragionamento Spaziotemporale Potenziato da Strumenti per Semplificare il Compito di Risposta a Domande su Video
Tool-Augmented Spatiotemporal Reasoning for Streamlining Video Question Answering Task
December 11, 2025
Autori: Sunqi Fan, Jiashuo Cui, Meng-Hao Guo, Shuojin Yang
cs.AI
Abstract
Il compito di Video Question Answering (VideoQA) rappresenta un ambito cruciale per valutare se i modelli fondazione possono percepire, comprendere e ragionare efficacemente su scenari dinamici del mondo reale. Tuttavia, gli attuali Modelli Linguistici Multimodali (MLLM) faticano a modellare simultaneamente le relazioni spaziali all'interno dei fotogrammi video e a comprendere le dinamiche causali dell'evoluzione temporale in compiti VideoQA complessi e ad alta intensità di ragionamento. In questo lavoro, dotiamo gli MLLM di un Toolkit Video completo ed estensibile, per potenziare le loro capacità di ragionamento spaziotemporale e garantire l'armonia tra quantità e diversità degli strumenti. Per controllare meglio la sequenza di invocazione degli strumenti ed evitare problemi di scorciatoie nella catena di strumenti, proponiamo un Framework di Ragionamento Spaziotemporale (STAR) che pianifica strategicamente gli strumenti temporali e spaziali, localizzando progressivamente l'area chiave nel video. Il nostro framework STAR potenzia GPT-4o utilizzando strumenti leggeri, ottenendo un miglioramento dell'8.2% su VideoMME e del 4.6% su LongVideoBench. Riteniamo che il nostro Toolkit Video e il framework STAR rappresentino un passo importante verso la costruzione di assistenti autonomi e intelligenti per l'analisi video. Il codice è pubblicamente disponibile all'indirizzo https://github.com/fansunqi/VideoTool.
English
Video Question Answering (VideoQA) task serves as a critical playground for evaluating whether foundation models can effectively perceive, understand, and reason about dynamic real-world scenarios. However, existing Multimodal Large Language Models (MLLMs) struggle with simultaneously modeling spatial relationships within video frames and understanding the causal dynamics of temporal evolution on complex and reasoning-intensive VideoQA task. In this work, we equip MLLM with a comprehensive and extensible Video Toolkit, to enhance MLLM's spatiotemporal reasoning capabilities and ensure the harmony between the quantity and diversity of tools. To better control the tool invocation sequence and avoid toolchain shortcut issues, we propose a Spatiotemporal Reasoning Framework (STAR) that strategically schedules temporal and spatial tools, thereby progressively localizing the key area in the video. Our STAR framework enhances GPT-4o using lightweight tools, achieving an 8.2% gain on VideoMME and 4.6% on LongVideoBench. We believe that our proposed Video Toolkit and STAR framework make an important step towards building autonomous and intelligent video analysis assistants. The code is publicly available at https://github.com/fansunqi/VideoTool.