Video-MTR: Verstärktes Mehrschrittiges Denken für das Verständnis langer Videos

Video-MTR: Reinforced Multi-Turn Reasoning for Long Video Understanding

August 28, 2025

papers.authors: Yuan Xie, Tianshui Chen, Zheng Ge, Lionel Ni

cs.AI

papers.abstract

Die Analyse von Langform-Videos, die durch langfristige zeitliche Abhängigkeiten und multiple Ereignisse gekennzeichnet ist, bleibt eine Herausforderung. Bestehende Methoden stützen sich oft auf statische Schlussfolgerungen oder externe visuell-sprachliche Modelle (VLMs), die aufgrund des Mangels an end-to-end-Training mit Problemen wie Komplexität und suboptimaler Leistung konfrontiert sind. In diesem Artikel schlagen wir Video-MTR vor, ein verstärktes Multi-Turn-Schlussfolgerungsframework, das darauf ausgelegt ist, eine iterative Auswahl von Schlüsselvideosegmenten und das Verständnis von Fragen zu ermöglichen. Im Gegensatz zur traditionellen Video-Schlussfolgerungspipeline, die Vorhersagen in einem einzigen Durchlauf generiert, führt Video-MTR die Schlussfolgerung in mehreren Durchläufen durch, wobei Videosegmente schrittweise basierend auf dem sich entwickelnden Verständnis der zuvor verarbeiteten Segmente und der aktuellen Frage ausgewählt werden. Dieser iterative Prozess ermöglicht eine verfeinerte und kontextbewusste Analyse des Videos. Um den Zwischenschlussfolgerungsprozess zu gewährleisten, führen wir ein neuartiges gated bi-level Belohnungssystem ein, das trajektorienbasierte Belohnungen auf der Grundlage der Antwortkorrektheit und turn-basierte Belohnungen, die die Relevanz von Frame und Abfrage betonen, kombiniert. Dieses System optimiert sowohl die Auswahl von Videosegmenten als auch das Verständnis von Fragen, wodurch der Bedarf an externen VLMs entfällt und ein end-to-end-Training ermöglicht wird. Umfangreiche Experimente auf Benchmarks wie VideoMME, MLVU und EgoSchema zeigen, dass Video-MTR bestehende Methoden sowohl in Bezug auf Genauigkeit als auch Effizienz übertrifft und den Stand der Technik in der Analyse von Langform-Videos voranbringt.

English

Long-form video understanding, characterized by long-range temporal dependencies and multiple events, remains a challenge. Existing methods often rely on static reasoning or external visual-language models (VLMs), which face issues like complexity and sub-optimal performance due to the lack of end-to-end training. In this paper, we propose Video-MTR, a reinforced multi-turn reasoning framework designed to enable iterative key video segment selection and question comprehension. Unlike traditional video reasoning pipeline, which generate predictions in a single turn, Video-MTR performs reasoning in multiple turns, selecting video segments progressively based on the evolving understanding of previously processed segments and the current question. This iterative process allows for a more refined and contextually aware analysis of the video. To ensure intermediate reasoning process, we introduce a novel gated bi-level reward system, combining trajectory-level rewards based on answer correctness and turn-level rewards emphasizing frame-query relevance. This system optimizes both video segment selection and question comprehension, eliminating the need for external VLMs and allowing end-to-end training. Extensive experiments on benchmarks like VideoMME, MLVU, and EgoSchema demonstrate that Video-MTR outperforms existing methods in both accuracy and efficiency, advancing the state-of-the-art in long video understanding.