FrameThinker: Leren denken met lange video's via meervoudige frame-uitlichting

FrameThinker: Learning to Think with Long Videos via Multi-Turn Frame Spotlighting

September 29, 2025

Auteurs: Zefeng He, Xiaoye Qu, Yafu Li, Siyuan Huang, Daizong Liu, Yu Cheng

cs.AI

Samenvatting

Hoewel grote visueel-taalkundige modellen (LVLMs) aanzienlijke vooruitgang hebben geboekt in videobegrip, wordt hun toepassing op langdurige videoredenering belemmerd door uniforme framesampling en statische tekstuele redenering, wat inefficiënt is en moeite heeft met visueel intensieve videotaken. Om deze uitdagingen te overwinnen, introduceren we in dit artikel het concept van denken met lange video's en stellen we een nieuw framework voor, genaamd FrameThinker. Binnen dit framework kunnen LVLMs iteratief videocontent bevragen. Het ontwikkelen van dergelijke videoredeneercapaciteiten in LVLMs brengt aanzienlijke uitdagingen met zich mee, met name in het aanpassen van het model aan nieuwe videoacties (bijv. frame selecteren) en het ontwerpen van beloningsfuncties om LVLMs te begeleiden bij het aannemen van de nieuw geïntroduceerde actie. Om deze uitdagingen op te lossen, stellen we een tweefasige trainingsstrategie voor, waarbij eerst Supervised Fine-Tuning (SFT) wordt gebruikt om fundamentele actiecapaciteiten in te prenten, gevolgd door Reinforcement Learning (RL) om een strategisch besluitvormingsbeleid te optimaliseren. Opmerkelijk is dat we in deze RL-fase een diepgaande en uitgebreide verkenning uitvoeren van het beloningsontwerp voor elke actie en het formaat van de beloning. Uitgebreide experimenten op redeneerbenchmarks zoals Video-Holmes, LongVideo-Reason, en langdurige videobegripbenchmarks zoals LongVideoBench, MLVU, VideoMME, en LVBench, tonen aan dat FrameThinker een significante gemiddelde verbetering van +10,4% behaalt ten opzichte van de basislijnen, terwijl het aantal verwerkte frames drastisch wordt verminderd. Het meest opvallend is dat ons 7B-model, FrameThinker, een nieuwe state-of-the-art vestigt op LongVideo-Reason, met een nauwkeurigheid van 76,1% met een gemiddeld gebruik van slechts 20,6 frames. Dit overtreft niet alleen de concurrerende LongVILA-R1 (72,0%), maar doet dit ook met meer dan 20x minder frames (vs. 512), wat een ongeëvenaarde efficiëntie en effectiviteit aantoont.

English

While Large Vision-Language Models (LVLMs) have achieved substantial progress in video understanding, their application to long video reasoning is hindered by uniform frame sampling and static textual reasoning, which are inefficient and struggle to handle visually intensive video tasks. To overcome these challenges, in this paper, we introduce the concept of thinking with long videos and propose a novel framework FrameThinker. Within this framework, LVLMs are able to iteratively interrogate video content. Developing such video reasoning capabilities in LVLMs presents notable challenges, particularly in adapting the model to new video actions (e.g. select frame), and designing reward functions to guide LVLMs to adopt the newly introduced action. To solve these challenges, we propose a two-phase training strategy, first employing Supervised Fine-Tuning (SFT) to instill fundamental action capabilities, followed by Reinforcement Learning (RL) to optimize a strategic decision-making policy. Notably, in this RL phase, we conduct an in-depth and comprehensive exploration of the reward design for each action and format reward. Extensive experiments on reasoning benchmarks like Video-Holmes, LongVideo-Reason, and long-video understanding benchmarks such as LongVideoBench, MLVU, VideoMME, and LVBench, demonstrate that FrameThinker achieves a significant average improvement of +10.4% over baselines while drastically reducing the number of processed frames. Most notably, our 7B model, FrameThinker establishes a new state-of-the-art on LongVideo-Reason, achieving 76.1% accuracy using an average of only 20.6 frames. This not only outperforms the competitive LongVILA-R1 (72.0%) but does so with over 20x fewer frames (vs. 512), demonstrating unparalleled efficiency and effectiveness.