Video-MTR: Razonamiento Multiturno Reforzado para la Comprensión de Videos Largos

Video-MTR: Reinforced Multi-Turn Reasoning for Long Video Understanding

August 28, 2025

Autores: Yuan Xie, Tianshui Chen, Zheng Ge, Lionel Ni

cs.AI

Resumen

La comprensión de videos de larga duración, caracterizada por dependencias temporales de largo alcance y múltiples eventos, sigue siendo un desafío. Los métodos existentes a menudo dependen de razonamientos estáticos o de modelos visual-lingüísticos (VLMs) externos, los cuales enfrentan problemas como la complejidad y un rendimiento subóptimo debido a la falta de entrenamiento de extremo a extremo. En este artículo, proponemos Video-MTR, un marco de razonamiento reforzado de múltiples turnos diseñado para permitir la selección iterativa de segmentos clave del video y la comprensión de preguntas. A diferencia de la pipeline tradicional de razonamiento de video, que genera predicciones en un solo turno, Video-MTR realiza el razonamiento en múltiples turnos, seleccionando segmentos de video de manera progresiva basándose en la comprensión evolutiva de los segmentos previamente procesados y la pregunta actual. Este proceso iterativo permite un análisis más refinado y contextualmente consciente del video. Para garantizar un proceso de razonamiento intermedio, introducimos un novedoso sistema de recompensas bi-nivel con compuerta, que combina recompensas a nivel de trayectoria basadas en la corrección de las respuestas y recompensas a nivel de turno que enfatizan la relevancia entre los fotogramas y la consulta. Este sistema optimiza tanto la selección de segmentos de video como la comprensión de preguntas, eliminando la necesidad de VLMs externos y permitiendo un entrenamiento de extremo a extremo. Experimentos extensivos en benchmarks como VideoMME, MLVU y EgoSchema demuestran que Video-MTR supera a los métodos existentes tanto en precisión como en eficiencia, avanzando el estado del arte en la comprensión de videos largos.

English

Long-form video understanding, characterized by long-range temporal dependencies and multiple events, remains a challenge. Existing methods often rely on static reasoning or external visual-language models (VLMs), which face issues like complexity and sub-optimal performance due to the lack of end-to-end training. In this paper, we propose Video-MTR, a reinforced multi-turn reasoning framework designed to enable iterative key video segment selection and question comprehension. Unlike traditional video reasoning pipeline, which generate predictions in a single turn, Video-MTR performs reasoning in multiple turns, selecting video segments progressively based on the evolving understanding of previously processed segments and the current question. This iterative process allows for a more refined and contextually aware analysis of the video. To ensure intermediate reasoning process, we introduce a novel gated bi-level reward system, combining trajectory-level rewards based on answer correctness and turn-level rewards emphasizing frame-query relevance. This system optimizes both video segment selection and question comprehension, eliminating the need for external VLMs and allowing end-to-end training. Extensive experiments on benchmarks like VideoMME, MLVU, and EgoSchema demonstrate that Video-MTR outperforms existing methods in both accuracy and efficiency, advancing the state-of-the-art in long video understanding.