LongVideoAgent: 長尺動画におけるマルチエージェント推論

要旨

マルチモーダル大規模言語モデル（LLM）と長尺動画QAのためのツール活用システムの最近の進歩は、1時間規模のエピソードに対する推論の可能性を示しています。しかし、多くの手法では依然としてコンテンツを非可逆的な要約に圧縮したり、限定的なツールセットに依存しているため、時間的定位が弱体化し、細かな手掛かりを見逃しています。我々は、マスターLLMが質問関連セグメントを特定するグラウンディングエージェントと、対象を絞ったテキスト観察を抽出するビジョンエージェントを調整するマルチエージェントフレームワークを提案します。マスターエージェントはステップ制限付きで計画を立て、強化学習により訓練され、簡潔で正確かつ効率的なマルチエージェント協調を促進します。この設計により、マスターエージェントはグラウンディングを通じて関連クリップに集中し、字幕を視覚的詳細で補完し、解釈可能な軌跡を生成します。TVQA/TVQA+から集約したエピソードレベルのデータセットであるLongTVQAおよびLongTVQA+において、当社のマルチエージェントシステムは強力な非エージェントベースラインを大幅に上回りました。実験では、強化学習が訓練済みエージェントの推論と計画をさらに強化することも示されています。コードとデータはhttps://longvideoagent.github.io/で公開予定です。

English

Recent advances in multimodal LLMs and systems that use tools for long-video QA point to the promise of reasoning over hour-long episodes. However, many methods still compress content into lossy summaries or rely on limited toolsets, weakening temporal grounding and missing fine-grained cues. We propose a multi-agent framework in which a master LLM coordinates a grounding agent to localize question-relevant segments and a vision agent to extract targeted textual observations. The master agent plans with a step limit, and is trained with reinforcement learning to encourage concise, correct, and efficient multi-agent cooperation. This design helps the master agent focus on relevant clips via grounding, complements subtitles with visual detail, and yields interpretable trajectories. On our proposed LongTVQA and LongTVQA+ which are episode-level datasets aggregated from TVQA/TVQA+, our multi-agent system significantly outperforms strong non-agent baselines. Experiments also show reinforcement learning further strengthens reasoning and planning for the trained agent. Code and data will be shared at https://longvideoagent.github.io/.

LongVideoAgent: 長尺動画におけるマルチエージェント推論

LongVideoAgent: Multi-Agent Reasoning with Long Videos

要旨

Support