Инструментально-расширенное пространственно-временное рассуждение для оптимизации задачи видеовопросно-ответных систем
Tool-Augmented Spatiotemporal Reasoning for Streamlining Video Question Answering Task
December 11, 2025
Авторы: Sunqi Fan, Jiashuo Cui, Meng-Hao Guo, Shuojin Yang
cs.AI
Аннотация
Задача видеовопросно-ответных систем (VideoQA) служит важным полигоном для оценки способности базовых моделей эффективно воспринимать, понимать и анализировать динамические сценарии реального мира. Однако существующие мультимодальные большие языковые модели (MLLM) испытывают трудности с одновременным моделированием пространственных отношений внутри видеокадров и пониманием причинно-следственной динамики временной эволюции в сложных задачах VideoQA, требующих глубоких рассуждений. В данной работе мы оснащаем MLLM комплексным и расширяемым видеонабором инструментов (Video Toolkit) для усиления пространственно-временных reasoning-способностей модели и обеспечения баланса между количеством и разнообразием инструментов. Для лучшего управления последовательностью вызова инструментов и избежания проблем сокращенных цепочек инструментов мы предлагаем пространственно-временную reasoning-структуру (STAR), которая стратегически планирует использование временных и пространственных инструментов, постепенно локализуя ключевые области видео. Наша структура STAR улучшает производительность GPT-4o с использованием легковесных инструментов, демонстрируя прирост в 8.2% на VideoMME и 4.6% на LongVideoBench. Мы считаем, что предложенный видеонабор инструментов и структура STAR представляют важный шаг к созданию автономных и интеллектуальных помощников для видеоанализа. Код общедоступен по адресу https://github.com/fansunqi/VideoTool.
English
Video Question Answering (VideoQA) task serves as a critical playground for evaluating whether foundation models can effectively perceive, understand, and reason about dynamic real-world scenarios. However, existing Multimodal Large Language Models (MLLMs) struggle with simultaneously modeling spatial relationships within video frames and understanding the causal dynamics of temporal evolution on complex and reasoning-intensive VideoQA task. In this work, we equip MLLM with a comprehensive and extensible Video Toolkit, to enhance MLLM's spatiotemporal reasoning capabilities and ensure the harmony between the quantity and diversity of tools. To better control the tool invocation sequence and avoid toolchain shortcut issues, we propose a Spatiotemporal Reasoning Framework (STAR) that strategically schedules temporal and spatial tools, thereby progressively localizing the key area in the video. Our STAR framework enhances GPT-4o using lightweight tools, achieving an 8.2% gain on VideoMME and 4.6% on LongVideoBench. We believe that our proposed Video Toolkit and STAR framework make an important step towards building autonomous and intelligent video analysis assistants. The code is publicly available at https://github.com/fansunqi/VideoTool.