FrameThinker: Aprendendo a Pensar com Vídeos Longos através de Destaques de Quadros em Múltiplas Etapas

FrameThinker: Learning to Think with Long Videos via Multi-Turn Frame Spotlighting

September 29, 2025

Autores: Zefeng He, Xiaoye Qu, Yafu Li, Siyuan Huang, Daizong Liu, Yu Cheng

cs.AI

Resumo

Embora os Grandes Modelos de Visão e Linguagem (LVLMs, na sigla em inglês) tenham alcançado progressos significativos na compreensão de vídeos, sua aplicação em tarefas de raciocínio em vídeos longos é limitada pela amostragem uniforme de quadros e pelo raciocínio textual estático, que são ineficientes e têm dificuldade em lidar com tarefas de vídeo visualmente intensas. Para superar esses desafios, neste artigo, introduzimos o conceito de "pensar com vídeos longos" e propomos uma nova estrutura chamada FrameThinker. Dentro dessa estrutura, os LVLMs são capazes de interrogar iterativamente o conteúdo do vídeo. Desenvolver tais capacidades de raciocínio em vídeos nos LVLMs apresenta desafios notáveis, particularmente na adaptação do modelo a novas ações de vídeo (por exemplo, selecionar quadro) e no design de funções de recompensa para orientar os LVLMs a adotar a ação recém-introduzida. Para resolver esses desafios, propomos uma estratégia de treinamento em duas fases: primeiro, empregamos o Ajuste Fino Supervisionado (SFT) para instilar capacidades básicas de ação, seguido por Aprendizado por Reforço (RL) para otimizar uma política de tomada de decisão estratégica. Notavelmente, nesta fase de RL, realizamos uma exploração profunda e abrangente do design de recompensa para cada ação e formato de recompensa. Experimentos extensos em benchmarks de raciocínio como Video-Holmes, LongVideo-Reason, e benchmarks de compreensão de vídeos longos como LongVideoBench, MLVU, VideoMME e LVBench demonstram que o FrameThinker alcança uma melhoria média significativa de +10,4% em relação às linhas de base, enquanto reduz drasticamente o número de quadros processados. Mais notavelmente, nosso modelo de 7B, FrameThinker, estabelece um novo estado da arte no LongVideo-Reason, alcançando 76,1% de precisão usando uma média de apenas 20,6 quadros. Isso não apenas supera o competitivo LongVILA-R1 (72,0%), mas o faz com mais de 20 vezes menos quadros (vs. 512), demonstrando eficiência e eficácia sem paralelo.

English

While Large Vision-Language Models (LVLMs) have achieved substantial progress in video understanding, their application to long video reasoning is hindered by uniform frame sampling and static textual reasoning, which are inefficient and struggle to handle visually intensive video tasks. To overcome these challenges, in this paper, we introduce the concept of thinking with long videos and propose a novel framework FrameThinker. Within this framework, LVLMs are able to iteratively interrogate video content. Developing such video reasoning capabilities in LVLMs presents notable challenges, particularly in adapting the model to new video actions (e.g. select frame), and designing reward functions to guide LVLMs to adopt the newly introduced action. To solve these challenges, we propose a two-phase training strategy, first employing Supervised Fine-Tuning (SFT) to instill fundamental action capabilities, followed by Reinforcement Learning (RL) to optimize a strategic decision-making policy. Notably, in this RL phase, we conduct an in-depth and comprehensive exploration of the reward design for each action and format reward. Extensive experiments on reasoning benchmarks like Video-Holmes, LongVideo-Reason, and long-video understanding benchmarks such as LongVideoBench, MLVU, VideoMME, and LVBench, demonstrate that FrameThinker achieves a significant average improvement of +10.4% over baselines while drastically reducing the number of processed frames. Most notably, our 7B model, FrameThinker establishes a new state-of-the-art on LongVideo-Reason, achieving 76.1% accuracy using an average of only 20.6 frames. This not only outperforms the competitive LongVILA-R1 (72.0%) but does so with over 20x fewer frames (vs. 512), demonstrating unparalleled efficiency and effectiveness.