LongVideoAgent: Raciocínio com Múltiplos Agentes em Vídeos Longos
LongVideoAgent: Multi-Agent Reasoning with Long Videos
December 23, 2025
Autores: Runtao Liu, Ziyi Liu, Jiaqi Tang, Yue Ma, Renjie Pi, Jipeng Zhang, Qifeng Chen
cs.AI
Resumo
Os recentes avanços em LLMs multimodais e sistemas que utilizam ferramentas para QA de vídeos longos apontam para o potencial do raciocínio sobre episódios com duração de horas. No entanto, muitos métodos ainda comprimem o conteúdo em resumos com perdas ou dependem de conjuntos de ferramentas limitados, enfraquecendo o enraizamento temporal e perdendo pistas de granularidade fina. Propomos uma estrutura multiagente na qual um LLM mestre coordena um agente de enraizamento para localizar segmentos relevantes para a pergunta e um agente de visão para extrair observações textuais direcionadas. O agente mestre planeia com um limite de etapas e é treinado com aprendizagem por reforço para incentivar uma cooperação multiagente concisa, correta e eficiente. Este projeto ajuda o agente mestre a focar em clipes relevantes através do enraizamento, complementa as legendas com detalhes visuais e produz trajetórias interpretáveis. Nos nossos conjuntos de dados LongTVQA e LongTVQA+, agregados a nível de episódio a partir do TVQA/TVQA+, o nosso sistema multiagente supera significativamente as linhas de base não agentes fortes. As experiências também mostram que a aprendizagem por reforço fortalece ainda mais o raciocínio e o planeamento para o agente treinado. O código e os dados serão partilhados em https://longvideoagent.github.io/.
English
Recent advances in multimodal LLMs and systems that use tools for long-video QA point to the promise of reasoning over hour-long episodes. However, many methods still compress content into lossy summaries or rely on limited toolsets, weakening temporal grounding and missing fine-grained cues. We propose a multi-agent framework in which a master LLM coordinates a grounding agent to localize question-relevant segments and a vision agent to extract targeted textual observations. The master agent plans with a step limit, and is trained with reinforcement learning to encourage concise, correct, and efficient multi-agent cooperation. This design helps the master agent focus on relevant clips via grounding, complements subtitles with visual detail, and yields interpretable trajectories. On our proposed LongTVQA and LongTVQA+ which are episode-level datasets aggregated from TVQA/TVQA+, our multi-agent system significantly outperforms strong non-agent baselines. Experiments also show reinforcement learning further strengthens reasoning and planning for the trained agent. Code and data will be shared at https://longvideoagent.github.io/.