Video-MTR: Ragionamento Multi-Turn Rinforzato per la Comprensione di Video Lunghi

Video-MTR: Reinforced Multi-Turn Reasoning for Long Video Understanding

August 28, 2025

Autori: Yuan Xie, Tianshui Chen, Zheng Ge, Lionel Ni

cs.AI

Abstract

La comprensione di video di lunga durata, caratterizzata da dipendenze temporali a lungo raggio e da eventi multipli, rimane una sfida. I metodi esistenti spesso si basano su ragionamenti statici o su modelli visivo-linguistici (VLMs) esterni, che affrontano problemi come la complessità e prestazioni sub-ottimali a causa della mancanza di un addestramento end-to-end. In questo articolo, proponiamo Video-MTR, un framework di ragionamento multi-turn rinforzato progettato per abilitare la selezione iterativa di segmenti video chiave e la comprensione delle domande. A differenza della tradizionale pipeline di ragionamento video, che genera previsioni in un singolo turno, Video-MTR esegue il ragionamento in più turni, selezionando progressivamente i segmenti video in base alla comprensione evoluta dei segmenti precedentemente elaborati e della domanda corrente. Questo processo iterativo consente un'analisi più raffinata e contestualmente consapevole del video. Per garantire un processo di ragionamento intermedio, introduciamo un nuovo sistema di ricompensa bi-livello a gate, che combina ricompense a livello di traiettoria basate sulla correttezza delle risposte e ricompense a livello di turno che enfatizzano la rilevanza frame-query. Questo sistema ottimizza sia la selezione dei segmenti video che la comprensione delle domande, eliminando la necessità di VLMs esterni e consentendo un addestramento end-to-end. Esperimenti estesi su benchmark come VideoMME, MLVU ed EgoSchema dimostrano che Video-MTR supera i metodi esistenti sia in accuratezza che in efficienza, avanzando lo stato dell'arte nella comprensione di video di lunga durata.

English

Long-form video understanding, characterized by long-range temporal dependencies and multiple events, remains a challenge. Existing methods often rely on static reasoning or external visual-language models (VLMs), which face issues like complexity and sub-optimal performance due to the lack of end-to-end training. In this paper, we propose Video-MTR, a reinforced multi-turn reasoning framework designed to enable iterative key video segment selection and question comprehension. Unlike traditional video reasoning pipeline, which generate predictions in a single turn, Video-MTR performs reasoning in multiple turns, selecting video segments progressively based on the evolving understanding of previously processed segments and the current question. This iterative process allows for a more refined and contextually aware analysis of the video. To ensure intermediate reasoning process, we introduce a novel gated bi-level reward system, combining trajectory-level rewards based on answer correctness and turn-level rewards emphasizing frame-query relevance. This system optimizes both video segment selection and question comprehension, eliminating the need for external VLMs and allowing end-to-end training. Extensive experiments on benchmarks like VideoMME, MLVU, and EgoSchema demonstrate that Video-MTR outperforms existing methods in both accuracy and efficiency, advancing the state-of-the-art in long video understanding.