Video-MTR: Raciocínio Multi-Turn Reforçado para Compreensão de Vídeos Longos

Video-MTR: Reinforced Multi-Turn Reasoning for Long Video Understanding

August 28, 2025

Autores: Yuan Xie, Tianshui Chen, Zheng Ge, Lionel Ni

cs.AI

Resumo

A compreensão de vídeos de longa duração, caracterizada por dependências temporais de longo alcance e múltiplos eventos, continua sendo um desafio. Os métodos existentes frequentemente dependem de raciocínio estático ou de modelos visuo-linguísticos (VLMs) externos, que enfrentam problemas como complexidade e desempenho subótimo devido à falta de treinamento de ponta a ponta. Neste artigo, propomos o Video-MTR, um framework de raciocínio multi-turn reforçado projetado para permitir a seleção iterativa de segmentos-chave do vídeo e a compreensão de perguntas. Diferentemente do pipeline tradicional de raciocínio em vídeo, que gera previsões em uma única etapa, o Video-MTR realiza o raciocínio em múltiplas etapas, selecionando segmentos de vídeo progressivamente com base na compreensão evolutiva dos segmentos processados anteriormente e da pergunta atual. Esse processo iterativo permite uma análise mais refinada e contextualmente consciente do vídeo. Para garantir o processo de raciocínio intermediário, introduzimos um novo sistema de recompensa bi-nível com portas, combinando recompensas em nível de trajetória baseadas na correção da resposta e recompensas em nível de etapa que enfatizam a relevância entre quadro e consulta. Esse sistema otimiza tanto a seleção de segmentos de vídeo quanto a compreensão da pergunta, eliminando a necessidade de VLMs externos e permitindo o treinamento de ponta a ponta. Experimentos extensivos em benchmarks como VideoMME, MLVU e EgoSchema demonstram que o Video-MTR supera os métodos existentes tanto em precisão quanto em eficiência, avançando o estado da arte na compreensão de vídeos longos.

English

Long-form video understanding, characterized by long-range temporal dependencies and multiple events, remains a challenge. Existing methods often rely on static reasoning or external visual-language models (VLMs), which face issues like complexity and sub-optimal performance due to the lack of end-to-end training. In this paper, we propose Video-MTR, a reinforced multi-turn reasoning framework designed to enable iterative key video segment selection and question comprehension. Unlike traditional video reasoning pipeline, which generate predictions in a single turn, Video-MTR performs reasoning in multiple turns, selecting video segments progressively based on the evolving understanding of previously processed segments and the current question. This iterative process allows for a more refined and contextually aware analysis of the video. To ensure intermediate reasoning process, we introduce a novel gated bi-level reward system, combining trajectory-level rewards based on answer correctness and turn-level rewards emphasizing frame-query relevance. This system optimizes both video segment selection and question comprehension, eliminating the need for external VLMs and allowing end-to-end training. Extensive experiments on benchmarks like VideoMME, MLVU, and EgoSchema demonstrate that Video-MTR outperforms existing methods in both accuracy and efficiency, advancing the state-of-the-art in long video understanding.