Video-MTR : Raisonnement Multi-Tours Renforcé pour la Compréhension de Vidéos Longues

Video-MTR: Reinforced Multi-Turn Reasoning for Long Video Understanding

August 28, 2025

papers.authors: Yuan Xie, Tianshui Chen, Zheng Ge, Lionel Ni

cs.AI

papers.abstract

La compréhension des vidéos longues, caractérisée par des dépendances temporelles étendues et des événements multiples, reste un défi. Les méthodes existantes reposent souvent sur un raisonnement statique ou sur des modèles visio-linguistiques (VLMs) externes, qui rencontrent des problèmes de complexité et de performances sous-optimales en raison de l'absence d'un apprentissage de bout en bout. Dans cet article, nous proposons Video-MTR, un cadre de raisonnement multi-tours renforcé conçu pour permettre une sélection itérative de segments vidéo clés et une compréhension des questions. Contrairement au pipeline de raisonnement vidéo traditionnel, qui génère des prédictions en un seul tour, Video-MTR effectue un raisonnement en plusieurs tours, sélectionnant progressivement les segments vidéo en fonction de la compréhension évolutive des segments précédemment traités et de la question actuelle. Ce processus itératif permet une analyse plus affinée et contextuellement consciente de la vidéo. Pour garantir un processus de raisonnement intermédiaire, nous introduisons un nouveau système de récompense bi-niveau à verrouillage, combinant des récompenses au niveau de la trajectoire basées sur l'exactitude des réponses et des récompenses au niveau du tour mettant l'accent sur la pertinence entre les images et les requêtes. Ce système optimise à la fois la sélection des segments vidéo et la compréhension des questions, éliminant le besoin de VLMs externes et permettant un apprentissage de bout en bout. Des expériences approfondies sur des benchmarks tels que VideoMME, MLVU et EgoSchema démontrent que Video-MTR surpasse les méthodes existantes en termes de précision et d'efficacité, faisant progresser l'état de l'art dans la compréhension des vidéos longues.

English

Long-form video understanding, characterized by long-range temporal dependencies and multiple events, remains a challenge. Existing methods often rely on static reasoning or external visual-language models (VLMs), which face issues like complexity and sub-optimal performance due to the lack of end-to-end training. In this paper, we propose Video-MTR, a reinforced multi-turn reasoning framework designed to enable iterative key video segment selection and question comprehension. Unlike traditional video reasoning pipeline, which generate predictions in a single turn, Video-MTR performs reasoning in multiple turns, selecting video segments progressively based on the evolving understanding of previously processed segments and the current question. This iterative process allows for a more refined and contextually aware analysis of the video. To ensure intermediate reasoning process, we introduce a novel gated bi-level reward system, combining trajectory-level rewards based on answer correctness and turn-level rewards emphasizing frame-query relevance. This system optimizes both video segment selection and question comprehension, eliminating the need for external VLMs and allowing end-to-end training. Extensive experiments on benchmarks like VideoMME, MLVU, and EgoSchema demonstrate that Video-MTR outperforms existing methods in both accuracy and efficiency, advancing the state-of-the-art in long video understanding.