FrameThinker: Aprendiendo a pensar con videos largos mediante el enfoque multiframe en múltiples turnos

FrameThinker: Learning to Think with Long Videos via Multi-Turn Frame Spotlighting

September 29, 2025

Autores: Zefeng He, Xiaoye Qu, Yafu Li, Siyuan Huang, Daizong Liu, Yu Cheng

cs.AI

Resumen

Si bien los Modelos de Lenguaje y Visión de Gran Escala (LVLMs, por sus siglas en inglés) han logrado avances significativos en la comprensión de videos, su aplicación al razonamiento en videos largos se ve limitada por el muestreo uniforme de fotogramas y el razonamiento textual estático, los cuales son ineficientes y presentan dificultades para manejar tareas de video visualmente intensivas. Para superar estos desafíos, en este artículo, introducimos el concepto de pensar con videos largos y proponemos un nuevo marco denominado FrameThinker. Dentro de este marco, los LVLMs son capaces de interrogar iterativamente el contenido del video. Desarrollar tales capacidades de razonamiento en videos en los LVLMs presenta desafíos notables, particularmente en la adaptación del modelo a nuevas acciones de video (por ejemplo, seleccionar fotogramas) y en el diseño de funciones de recompensa para guiar a los LVLMs a adoptar las acciones recién introducidas. Para resolver estos desafíos, proponemos una estrategia de entrenamiento en dos fases: primero, empleamos Ajuste Fino Supervisado (SFT, por sus siglas en inglés) para inculcar capacidades básicas de acción, seguido de Aprendizaje por Refuerzo (RL, por sus siglas en inglés) para optimizar una política de toma de decisiones estratégica. Cabe destacar que, en esta fase de RL, realizamos una exploración profunda y exhaustiva del diseño de recompensas para cada acción y formato de recompensa. Experimentos extensos en benchmarks de razonamiento como Video-Holmes, LongVideo-Reason, y benchmarks de comprensión de videos largos como LongVideoBench, MLVU, VideoMME y LVBench, demuestran que FrameThinker logra una mejora promedio significativa de +10.4% sobre las líneas base, mientras reduce drásticamente el número de fotogramas procesados. Más notablemente, nuestro modelo de 7B, FrameThinker, establece un nuevo estado del arte en LongVideo-Reason, alcanzando un 76.1% de precisión utilizando un promedio de solo 20.6 fotogramas. Esto no solo supera al competitivo LongVILA-R1 (72.0%), sino que lo hace con más de 20 veces menos fotogramas (frente a 512), demostrando una eficiencia y efectividad sin igual.

English

While Large Vision-Language Models (LVLMs) have achieved substantial progress in video understanding, their application to long video reasoning is hindered by uniform frame sampling and static textual reasoning, which are inefficient and struggle to handle visually intensive video tasks. To overcome these challenges, in this paper, we introduce the concept of thinking with long videos and propose a novel framework FrameThinker. Within this framework, LVLMs are able to iteratively interrogate video content. Developing such video reasoning capabilities in LVLMs presents notable challenges, particularly in adapting the model to new video actions (e.g. select frame), and designing reward functions to guide LVLMs to adopt the newly introduced action. To solve these challenges, we propose a two-phase training strategy, first employing Supervised Fine-Tuning (SFT) to instill fundamental action capabilities, followed by Reinforcement Learning (RL) to optimize a strategic decision-making policy. Notably, in this RL phase, we conduct an in-depth and comprehensive exploration of the reward design for each action and format reward. Extensive experiments on reasoning benchmarks like Video-Holmes, LongVideo-Reason, and long-video understanding benchmarks such as LongVideoBench, MLVU, VideoMME, and LVBench, demonstrate that FrameThinker achieves a significant average improvement of +10.4% over baselines while drastically reducing the number of processed frames. Most notably, our 7B model, FrameThinker establishes a new state-of-the-art on LongVideo-Reason, achieving 76.1% accuracy using an average of only 20.6 frames. This not only outperforms the competitive LongVILA-R1 (72.0%) but does so with over 20x fewer frames (vs. 512), demonstrating unparalleled efficiency and effectiveness.