ツール拡張時空間推論による映像質問応答タスクの効率化
Tool-Augmented Spatiotemporal Reasoning for Streamlining Video Question Answering Task
December 11, 2025
著者: Sunqi Fan, Jiashuo Cui, Meng-Hao Guo, Shuojin Yang
cs.AI
要旨
Video Question Answering (VideoQA) タスクは、基盤モデルが動的な実世界のシナリオを効果的に知覚し、理解し、推論できるかどうかを評価する重要な場として機能する。しかし、既存のマルチモーダル大規模言語モデル (MLLM) は、複雑で推論集約的な VideoQA タスクにおいて、ビデオフレーム内の空間関係をモデル化しつつ、時間的進化の因果的ダイナミクスを理解することを同時に行うことに苦戦している。本研究では、MLLM に包括的かつ拡張可能なビデオツールキットを装備し、MLLM の時空間推論能力を強化するとともに、ツールの量と多様性の調和を確保する。ツール呼び出しシーケンスをより適切に制御し、ツールチェーンのショートカット問題を回避するため、我々は時間的ツールと空間的ツールを戦略的にスケジュールし、それによってビデオ内のキーエリアを段階的に特定する時空間推論フレームワーク (STAR) を提案する。我々の STAR フレームワークは、軽量なツールを使用して GPT-4o を強化し、VideoMME で 8.2%、LongVideoBench で 4.6% の向上を達成した。提案するビデオツールキットと STAR フレームワークは、自律的で知的なビデオ分析アシスタントの構築に向けた重要な一歩となると信じている。コードは https://github.com/fansunqi/VideoTool で公開されている。
English
Video Question Answering (VideoQA) task serves as a critical playground for evaluating whether foundation models can effectively perceive, understand, and reason about dynamic real-world scenarios. However, existing Multimodal Large Language Models (MLLMs) struggle with simultaneously modeling spatial relationships within video frames and understanding the causal dynamics of temporal evolution on complex and reasoning-intensive VideoQA task. In this work, we equip MLLM with a comprehensive and extensible Video Toolkit, to enhance MLLM's spatiotemporal reasoning capabilities and ensure the harmony between the quantity and diversity of tools. To better control the tool invocation sequence and avoid toolchain shortcut issues, we propose a Spatiotemporal Reasoning Framework (STAR) that strategically schedules temporal and spatial tools, thereby progressively localizing the key area in the video. Our STAR framework enhances GPT-4o using lightweight tools, achieving an 8.2% gain on VideoMME and 4.6% on LongVideoBench. We believe that our proposed Video Toolkit and STAR framework make an important step towards building autonomous and intelligent video analysis assistants. The code is publicly available at https://github.com/fansunqi/VideoTool.