LongVideoAgent: Ragionamento Multi-Agente con Video Lunghi
LongVideoAgent: Multi-Agent Reasoning with Long Videos
December 23, 2025
Autori: Runtao Liu, Ziyi Liu, Jiaqi Tang, Yue Ma, Renjie Pi, Jipeng Zhang, Qifeng Chen
cs.AI
Abstract
I recenti progressi nei modelli linguistici multimodali e nei sistemi che utilizzano strumenti per la risposta a domande su video lunghi indicano il potenziale del ragionamento su episodi della durata di ore. Tuttavia, molti metodi comprimono ancora i contenuti in riassunti con perdita di informazioni o si affidano a set di strumenti limitati, indebolendo il grounding temporale e tralasciando indizi granulari. Proponiamo un framework multi-agente in cui un LLM maestro coordina un agente di grounding per localizzare i segmenti rilevanti per la domanda e un agente visivo per estrarre osservazioni testuali mirate. L'agente maestro pianifica con un limite di passi e viene addestrato con apprendimento per rinforzo per favorire una cooperazione multi-agente concisa, corretta ed efficiente. Questo design aiuta l'agente maestro a concentrarsi sui clip rilevanti tramite il grounding, integra i sottotitoli con dettagli visivi e produce traiettorie interpretabili. Sui nostri dataset LongTVQA e LongTVQA+, aggregati a livello di episodio da TVQA/TVQA+, il nostro sistema multi-agente supera significativamente solidi baseline non agent-based. Gli esperimenti mostrano inoltre che l'apprendimento per rinforzo potenzia ulteriormente il ragionamento e la pianificazione per l'agente addestrato. Codice e dati saranno condivisi su https://longvideoagent.github.io/.
English
Recent advances in multimodal LLMs and systems that use tools for long-video QA point to the promise of reasoning over hour-long episodes. However, many methods still compress content into lossy summaries or rely on limited toolsets, weakening temporal grounding and missing fine-grained cues. We propose a multi-agent framework in which a master LLM coordinates a grounding agent to localize question-relevant segments and a vision agent to extract targeted textual observations. The master agent plans with a step limit, and is trained with reinforcement learning to encourage concise, correct, and efficient multi-agent cooperation. This design helps the master agent focus on relevant clips via grounding, complements subtitles with visual detail, and yields interpretable trajectories. On our proposed LongTVQA and LongTVQA+ which are episode-level datasets aggregated from TVQA/TVQA+, our multi-agent system significantly outperforms strong non-agent baselines. Experiments also show reinforcement learning further strengthens reasoning and planning for the trained agent. Code and data will be shared at https://longvideoagent.github.io/.