FrameThinker: Apprendere a Pensare con Video Lunghi Attraverso il Multi-Turn Frame Spotlighting

FrameThinker: Learning to Think with Long Videos via Multi-Turn Frame Spotlighting

September 29, 2025

Autori: Zefeng He, Xiaoye Qu, Yafu Li, Siyuan Huang, Daizong Liu, Yu Cheng

cs.AI

Abstract

Sebbene i Large Vision-Language Models (LVLM) abbiano compiuto progressi significativi nella comprensione video, la loro applicazione al ragionamento su video lunghi è ostacolata dal campionamento uniforme dei fotogrammi e dal ragionamento testuale statico, che risultano inefficienti e faticano a gestire compiti video visivamente intensivi. Per superare queste sfide, in questo articolo introduciamo il concetto di "pensare con video lunghi" e proponiamo un nuovo framework chiamato FrameThinker. All'interno di questo framework, i LVLM sono in grado di interrogare iterativamente il contenuto video. Sviluppare tali capacità di ragionamento video nei LVLM presenta notevoli sfide, in particolare nell'adattare il modello a nuove azioni video (ad esempio, selezionare un fotogramma) e nel progettare funzioni di ricompensa per guidare i LVLM ad adottare le azioni introdotte. Per risolvere queste sfide, proponiamo una strategia di addestramento in due fasi: prima impieghiamo il Supervised Fine-Tuning (SFT) per instillare capacità di azione fondamentali, seguito dal Reinforcement Learning (RL) per ottimizzare una politica decisionale strategica. In particolare, in questa fase di RL, conduciamo un'esplorazione approfondita e completa del design delle ricompense per ogni azione e del formato delle ricompense. Esperimenti estesi su benchmark di ragionamento come Video-Holmes, LongVideo-Reason e benchmark di comprensione video lunghi come LongVideoBench, MLVU, VideoMME e LVBench dimostrano che FrameThinker ottiene un miglioramento medio significativo del +10,4% rispetto ai baseline, riducendo drasticamente il numero di fotogrammi elaborati. Soprattutto, il nostro modello da 7B, FrameThinker, stabilisce un nuovo stato dell'arte su LongVideo-Reason, raggiungendo un'accuratezza del 76,1% utilizzando una media di soli 20,6 fotogrammi. Ciò non solo supera il competitivo LongVILA-R1 (72,0%), ma lo fa con oltre 20 volte meno fotogrammi (rispetto a 512), dimostrando un'efficienza e un'efficacia senza pari.

English

While Large Vision-Language Models (LVLMs) have achieved substantial progress in video understanding, their application to long video reasoning is hindered by uniform frame sampling and static textual reasoning, which are inefficient and struggle to handle visually intensive video tasks. To overcome these challenges, in this paper, we introduce the concept of thinking with long videos and propose a novel framework FrameThinker. Within this framework, LVLMs are able to iteratively interrogate video content. Developing such video reasoning capabilities in LVLMs presents notable challenges, particularly in adapting the model to new video actions (e.g. select frame), and designing reward functions to guide LVLMs to adopt the newly introduced action. To solve these challenges, we propose a two-phase training strategy, first employing Supervised Fine-Tuning (SFT) to instill fundamental action capabilities, followed by Reinforcement Learning (RL) to optimize a strategic decision-making policy. Notably, in this RL phase, we conduct an in-depth and comprehensive exploration of the reward design for each action and format reward. Extensive experiments on reasoning benchmarks like Video-Holmes, LongVideo-Reason, and long-video understanding benchmarks such as LongVideoBench, MLVU, VideoMME, and LVBench, demonstrate that FrameThinker achieves a significant average improvement of +10.4% over baselines while drastically reducing the number of processed frames. Most notably, our 7B model, FrameThinker establishes a new state-of-the-art on LongVideo-Reason, achieving 76.1% accuracy using an average of only 20.6 frames. This not only outperforms the competitive LongVILA-R1 (72.0%) but does so with over 20x fewer frames (vs. 512), demonstrating unparalleled efficiency and effectiveness.