Raisonnement Spatiotemporel Assisté par Outils pour Rationaliser la Tâche de Question-Réponse Vidéo
Tool-Augmented Spatiotemporal Reasoning for Streamlining Video Question Answering Task
December 11, 2025
papers.authors: Sunqi Fan, Jiashuo Cui, Meng-Hao Guo, Shuojin Yang
cs.AI
papers.abstract
La tâche de Question-Réponse sur Vidéo (VideoQA) constitue un terrain d'évaluation crucial pour déterminer si les modèles de fondation peuvent effectivement percevoir, comprendre et raisonner sur des scénarios dynamiques du monde réel. Cependant, les modèles de langage multimodaux de grande taille (MLLM) existants peinent à modéliser simultanément les relations spatiales au sein des images vidéo et à comprendre la dynamique causale de l'évolution temporelle dans des tâches VideoQA complexes et exigeantes en raisonnement. Dans ce travail, nous dotons les MLLM d'une Boîte à Outils Vidéo complète et extensible, afin d'améliorer leurs capacités de raisonnement spatiotemporel et de garantir l'harmonie entre la quantité et la diversité des outils. Pour mieux contrôler la séquence d'invocation des outils et éviter les problèmes de raccourci dans la chaîne d'outils, nous proposons un Cadre de Raisonnement Spatiotemporel (STAR) qui planifie stratégiquement les outils temporels et spatiaux, localisant ainsi progressivement la zone clé de la vidéo. Notre cadre STAR améliore GPT-4o en utilisant des outils légers, obtenant un gain de 8,2 % sur VideoMME et de 4,6 % sur LongVideoBench. Nous pensons que notre Boîte à Outils Vidéo et le cadre STAR proposés constituent une étape importante vers la construction d'assistants d'analyse vidéo autonomes et intelligents. Le code est disponible publiquement à l'adresse https://github.com/fansunqi/VideoTool.
English
Video Question Answering (VideoQA) task serves as a critical playground for evaluating whether foundation models can effectively perceive, understand, and reason about dynamic real-world scenarios. However, existing Multimodal Large Language Models (MLLMs) struggle with simultaneously modeling spatial relationships within video frames and understanding the causal dynamics of temporal evolution on complex and reasoning-intensive VideoQA task. In this work, we equip MLLM with a comprehensive and extensible Video Toolkit, to enhance MLLM's spatiotemporal reasoning capabilities and ensure the harmony between the quantity and diversity of tools. To better control the tool invocation sequence and avoid toolchain shortcut issues, we propose a Spatiotemporal Reasoning Framework (STAR) that strategically schedules temporal and spatial tools, thereby progressively localizing the key area in the video. Our STAR framework enhances GPT-4o using lightweight tools, achieving an 8.2% gain on VideoMME and 4.6% on LongVideoBench. We believe that our proposed Video Toolkit and STAR framework make an important step towards building autonomous and intelligent video analysis assistants. The code is publicly available at https://github.com/fansunqi/VideoTool.