Video-MTR: Усиленное многошаговое рассуждение для понимания длинных видео

Video-MTR: Reinforced Multi-Turn Reasoning for Long Video Understanding

August 28, 2025

Авторы: Yuan Xie, Tianshui Chen, Zheng Ge, Lionel Ni

cs.AI

Аннотация

Понимание длинных видеороликов, характеризующихся долгосрочными временными зависимостями и множеством событий, остается сложной задачей. Существующие методы часто полагаются на статическое рассуждение или внешние визуально-языковые модели (VLMs), которые сталкиваются с проблемами, такими как сложность и неоптимальная производительность из-за отсутствия сквозного обучения. В данной статье мы предлагаем Video-MTR, усиленный фреймворк многошагового рассуждения, предназначенный для итеративного выбора ключевых сегментов видео и понимания вопросов. В отличие от традиционного подхода к рассуждению над видео, который генерирует предсказания за один шаг, Video-MTR выполняет рассуждение в несколько этапов, постепенно выбирая сегменты видео на основе развивающегося понимания ранее обработанных сегментов и текущего вопроса. Этот итеративный процесс позволяет проводить более детальный и контекстуально осознанный анализ видео. Для обеспечения промежуточного процесса рассуждения мы вводим новую систему двууровневых вознаграждений с управлением, сочетающую вознаграждения на уровне траектории, основанные на правильности ответа, и вознаграждения на уровне шага, подчеркивающие релевантность кадров и запроса. Эта система оптимизирует как выбор сегментов видео, так и понимание вопросов, устраняя необходимость во внешних VLMs и позволяя проводить сквозное обучение. Многочисленные эксперименты на бенчмарках, таких как VideoMME, MLVU и EgoSchema, демонстрируют, что Video-MTR превосходит существующие методы как по точности, так и по эффективности, продвигая состояние дел в области понимания длинных видеороликов.

English

Long-form video understanding, characterized by long-range temporal dependencies and multiple events, remains a challenge. Existing methods often rely on static reasoning or external visual-language models (VLMs), which face issues like complexity and sub-optimal performance due to the lack of end-to-end training. In this paper, we propose Video-MTR, a reinforced multi-turn reasoning framework designed to enable iterative key video segment selection and question comprehension. Unlike traditional video reasoning pipeline, which generate predictions in a single turn, Video-MTR performs reasoning in multiple turns, selecting video segments progressively based on the evolving understanding of previously processed segments and the current question. This iterative process allows for a more refined and contextually aware analysis of the video. To ensure intermediate reasoning process, we introduce a novel gated bi-level reward system, combining trajectory-level rewards based on answer correctness and turn-level rewards emphasizing frame-query relevance. This system optimizes both video segment selection and question comprehension, eliminating the need for external VLMs and allowing end-to-end training. Extensive experiments on benchmarks like VideoMME, MLVU, and EgoSchema demonstrate that Video-MTR outperforms existing methods in both accuracy and efficiency, advancing the state-of-the-art in long video understanding.