Video-MTR: 長尺動画理解のための強化型マルチターン推論

Video-MTR: Reinforced Multi-Turn Reasoning for Long Video Understanding

August 28, 2025

著者: Yuan Xie, Tianshui Chen, Zheng Ge, Lionel Ni

cs.AI

要旨

長時間ビデオ理解は、長期的な時間的依存性と複数のイベントを特徴としており、依然として課題となっている。既存の手法は、静的推論や外部の視覚言語モデル（VLM）に依存することが多く、エンドツーエンドのトレーニングの欠如による複雑さや最適でない性能といった問題に直面している。本論文では、反復的なキービデオセグメント選択と質問理解を可能にするための強化されたマルチターン推論フレームワークであるVideo-MTRを提案する。従来のビデオ推論パイプラインが単一のターンで予測を生成するのに対し、Video-MTRは複数のターンで推論を行い、以前に処理されたセグメントと現在の質問に対する理解の進化に基づいてビデオセグメントを段階的に選択する。この反復的なプロセスにより、ビデオのより洗練された文脈を考慮した分析が可能となる。中間推論プロセスを確保するために、回答の正確性に基づく軌跡レベル報酬とフレームクエリ関連性を強調するターンレベル報酬を組み合わせた新しいゲート付き二段階報酬システムを導入する。このシステムは、ビデオセグメント選択と質問理解の両方を最適化し、外部VLMの必要性を排除し、エンドツーエンドのトレーニングを可能にする。VideoMME、MLVU、EgoSchemaなどのベンチマークでの大規模な実験により、Video-MTRが既存の手法を精度と効率の両面で上回り、長時間ビデオ理解の最先端を進めることが実証された。

English

Long-form video understanding, characterized by long-range temporal dependencies and multiple events, remains a challenge. Existing methods often rely on static reasoning or external visual-language models (VLMs), which face issues like complexity and sub-optimal performance due to the lack of end-to-end training. In this paper, we propose Video-MTR, a reinforced multi-turn reasoning framework designed to enable iterative key video segment selection and question comprehension. Unlike traditional video reasoning pipeline, which generate predictions in a single turn, Video-MTR performs reasoning in multiple turns, selecting video segments progressively based on the evolving understanding of previously processed segments and the current question. This iterative process allows for a more refined and contextually aware analysis of the video. To ensure intermediate reasoning process, we introduce a novel gated bi-level reward system, combining trajectory-level rewards based on answer correctness and turn-level rewards emphasizing frame-query relevance. This system optimizes both video segment selection and question comprehension, eliminating the need for external VLMs and allowing end-to-end training. Extensive experiments on benchmarks like VideoMME, MLVU, and EgoSchema demonstrate that Video-MTR outperforms existing methods in both accuracy and efficiency, advancing the state-of-the-art in long video understanding.