LongVideoAgent: Мультиагентное рассуждение с длинными видео
LongVideoAgent: Multi-Agent Reasoning with Long Videos
December 23, 2025
Авторы: Runtao Liu, Ziyi Liu, Jiaqi Tang, Yue Ma, Renjie Pi, Jipeng Zhang, Qifeng Chen
cs.AI
Аннотация
Последние достижения в области мультимодальных больших языковых моделей и систем, использующих инструменты для анализа длинных видео, указывают на перспективность рассуждений над эпизодами продолжительностью в час. Однако многие методы по-прежнему сжимают контент в сжатые, потерянные сводки или полагаются на ограниченный набор инструментов, что ослабляет временную привязку и упускает детальные сигналы. Мы предлагаем многозадачный фреймворк, в котором главная LLM координирует агента привязки для локализации релевантных вопросу сегментов и визуального агента для извлечения целевых текстовых наблюдений. Главный агент планирует действия с ограничением по шагам и обучается с подкреплением для поощрения лаконичного, корректного и эффективного меж-агентного взаимодействия. Такая конструкция помогает главному агенту фокусироваться на релевантных фрагментах через привязку, дополняет субтитры визуальными деталями и порождает интерпретируемые траектории. На наших наборах данных LongTVQA и LongTVQA+, агрегированных на уровне эпизодов из TVQA/TVQA+, наша много-агентная система значительно превосходит сильные не-агентные базовые методы. Эксперименты также показывают, что обучение с подкреплением дополнительно усиливает способности к рассуждению и планированию у обученного агента. Код и данные будут доступны по адресу https://longvideoagent.github.io/.
English
Recent advances in multimodal LLMs and systems that use tools for long-video QA point to the promise of reasoning over hour-long episodes. However, many methods still compress content into lossy summaries or rely on limited toolsets, weakening temporal grounding and missing fine-grained cues. We propose a multi-agent framework in which a master LLM coordinates a grounding agent to localize question-relevant segments and a vision agent to extract targeted textual observations. The master agent plans with a step limit, and is trained with reinforcement learning to encourage concise, correct, and efficient multi-agent cooperation. This design helps the master agent focus on relevant clips via grounding, complements subtitles with visual detail, and yields interpretable trajectories. On our proposed LongTVQA and LongTVQA+ which are episode-level datasets aggregated from TVQA/TVQA+, our multi-agent system significantly outperforms strong non-agent baselines. Experiments also show reinforcement learning further strengthens reasoning and planning for the trained agent. Code and data will be shared at https://longvideoagent.github.io/.