Video-MTR: Versterkt Multi-Turn Redeneren voor het Begrijpen van Lange Video's

Video-MTR: Reinforced Multi-Turn Reasoning for Long Video Understanding

August 28, 2025

Auteurs: Yuan Xie, Tianshui Chen, Zheng Ge, Lionel Ni

cs.AI

Samenvatting

Het begrijpen van lange video's, gekenmerkt door langetermijn temporele afhankelijkheden en meerdere gebeurtenissen, blijft een uitdaging. Bestaande methoden vertrouwen vaak op statische redenering of externe visueel-taalmodelen (VLMs), die problemen ondervinden zoals complexiteit en suboptimale prestaties door het ontbreken van end-to-end training. In dit artikel stellen we Video-MTR voor, een versterkt multi-turn redeneerframework ontworpen om iteratieve selectie van belangrijke videosegmenten en vraagbegrip mogelijk te maken. In tegenstelling tot traditionele videoredeneerpijplijnen, die voorspellingen in één keer genereren, voert Video-MTR redenering uit in meerdere stappen, waarbij videosegmenten progressief worden geselecteerd op basis van het evoluerende begrip van eerder verwerkte segmenten en de huidige vraag. Dit iteratieve proces maakt een verfijndere en contextueel bewuste analyse van de video mogelijk. Om het tussentijdse redeneerproces te waarborgen, introduceren we een nieuw gelaagd beloningssysteem met twee niveaus, dat trajectniveau beloningen combineert op basis van antwoordcorrectheid en turnniveau beloningen die de relevantie van frame-vraag benadrukken. Dit systeem optimaliseert zowel de selectie van videosegmenten als het begrip van vragen, elimineert de noodzaak voor externe VLMs en maakt end-to-end training mogelijk. Uitgebreide experimenten op benchmarks zoals VideoMME, MLVU en EgoSchema tonen aan dat Video-MTR bestaande methoden overtreft in zowel nauwkeurigheid als efficiëntie, wat de stand van de techniek in het begrijpen van lange video's vooruithelpt.

English

Long-form video understanding, characterized by long-range temporal dependencies and multiple events, remains a challenge. Existing methods often rely on static reasoning or external visual-language models (VLMs), which face issues like complexity and sub-optimal performance due to the lack of end-to-end training. In this paper, we propose Video-MTR, a reinforced multi-turn reasoning framework designed to enable iterative key video segment selection and question comprehension. Unlike traditional video reasoning pipeline, which generate predictions in a single turn, Video-MTR performs reasoning in multiple turns, selecting video segments progressively based on the evolving understanding of previously processed segments and the current question. This iterative process allows for a more refined and contextually aware analysis of the video. To ensure intermediate reasoning process, we introduce a novel gated bi-level reward system, combining trajectory-level rewards based on answer correctness and turn-level rewards emphasizing frame-query relevance. This system optimizes both video segment selection and question comprehension, eliminating the need for external VLMs and allowing end-to-end training. Extensive experiments on benchmarks like VideoMME, MLVU, and EgoSchema demonstrate that Video-MTR outperforms existing methods in both accuracy and efficiency, advancing the state-of-the-art in long video understanding.