FrameThinker: Обучение мышлению с использованием длинных видео через многошаговое выделение ключевых кадров

FrameThinker: Learning to Think with Long Videos via Multi-Turn Frame Spotlighting

September 29, 2025

Авторы: Zefeng He, Xiaoye Qu, Yafu Li, Siyuan Huang, Daizong Liu, Yu Cheng

cs.AI

Аннотация

Хотя крупные модели обработки зрения и языка (LVLMs) достигли значительного прогресса в понимании видео, их применение для анализа длинных видеороликов ограничено равномерной выборкой кадров и статическим текстовым анализом, что является неэффективным и затрудняет выполнение задач, требующих интенсивной обработки визуальной информации. Чтобы преодолеть эти ограничения, в данной работе мы вводим концепцию "мышления с длинными видео" и предлагаем новую архитектуру FrameThinker. В рамках этой архитектуры LVLMs способны итеративно анализировать содержимое видео. Развитие таких способностей анализа видео в LVLMs сопряжено с рядом сложностей, особенно в адаптации модели к новым действиям с видео (например, выбор кадра) и разработке функций вознаграждения, которые направляют LVLMs к использованию введенных действий. Для решения этих задач мы предлагаем двухэтапную стратегию обучения: сначала применяем контролируемую тонкую настройку (SFT) для формирования базовых способностей выполнения действий, а затем используем обучение с подкреплением (RL) для оптимизации стратегии принятия решений. Важно отметить, что на этапе RL мы проводим глубокое и всестороннее исследование дизайна вознаграждения для каждого действия и формата вознаграждения. Экстенсивные эксперименты на тестовых наборах для анализа, таких как Video-Holmes и LongVideo-Reason, а также на наборах для понимания длинных видео, таких как LongVideoBench, MLVU, VideoMME и LVBench, демонстрируют, что FrameThinker достигает значительного среднего улучшения на +10,4% по сравнению с базовыми методами, при этом значительно сокращая количество обрабатываемых кадров. Наиболее примечательно, что наша модель FrameThinker с 7 миллиардами параметров устанавливает новый рекорд на тестовом наборе LongVideo-Reason, достигая точности 76,1% при использовании в среднем всего 20,6 кадров. Это не только превосходит конкурентоспособный LongVILA-R1 (72,0%), но и делает это с использованием более чем в 20 раз меньшего количества кадров (по сравнению с 512), демонстрируя беспрецедентную эффективность и производительность.

English

While Large Vision-Language Models (LVLMs) have achieved substantial progress in video understanding, their application to long video reasoning is hindered by uniform frame sampling and static textual reasoning, which are inefficient and struggle to handle visually intensive video tasks. To overcome these challenges, in this paper, we introduce the concept of thinking with long videos and propose a novel framework FrameThinker. Within this framework, LVLMs are able to iteratively interrogate video content. Developing such video reasoning capabilities in LVLMs presents notable challenges, particularly in adapting the model to new video actions (e.g. select frame), and designing reward functions to guide LVLMs to adopt the newly introduced action. To solve these challenges, we propose a two-phase training strategy, first employing Supervised Fine-Tuning (SFT) to instill fundamental action capabilities, followed by Reinforcement Learning (RL) to optimize a strategic decision-making policy. Notably, in this RL phase, we conduct an in-depth and comprehensive exploration of the reward design for each action and format reward. Extensive experiments on reasoning benchmarks like Video-Holmes, LongVideo-Reason, and long-video understanding benchmarks such as LongVideoBench, MLVU, VideoMME, and LVBench, demonstrate that FrameThinker achieves a significant average improvement of +10.4% over baselines while drastically reducing the number of processed frames. Most notably, our 7B model, FrameThinker establishes a new state-of-the-art on LongVideo-Reason, achieving 76.1% accuracy using an average of only 20.6 frames. This not only outperforms the competitive LongVILA-R1 (72.0%) but does so with over 20x fewer frames (vs. 512), demonstrating unparalleled efficiency and effectiveness.