ReFoCUS: Optimización de Marcos Guiada por Refuerzo para la Comprensión Contextual

ReFoCUS: Reinforcement-guided Frame Optimization for Contextual Understanding

June 2, 2025

Autores: Hosu Lee, Junho Kim, Hyunjun Kim, Yong Man Ro

cs.AI

Resumen

Los recientes avances en los Modelos Multimodales de Gran Escala (LMMs) han permitido un razonamiento efectivo entre visión y lenguaje, pero la capacidad para comprender contenido de video sigue limitada por estrategias subóptimas de selección de fotogramas. Los enfoques existentes suelen depender de heurísticas estáticas o módulos externos de recuperación para alimentar información de fotogramas en los video-LLMs, lo que puede fallar en proporcionar información relevante para la consulta. En este trabajo, presentamos ReFoCUS (Optimización de Fotogramas Guiada por Refuerzo para la Comprensión Contextual), un novedoso marco de optimización a nivel de fotogramas que traslada el objetivo de optimización desde las respuestas textuales hacia la selección de entradas visuales. ReFoCUS aprende una política de selección de fotogramas mediante aprendizaje por refuerzo, utilizando señales de recompensa derivadas de un LMM de referencia para reflejar las preferencias intrínsecas del modelo por fotogramas que mejor respaldan respuestas temporalmente fundamentadas. Para explorar eficientemente el amplio espacio combinatorio de fotogramas, empleamos una arquitectura de selección condicional y autorregresiva que garantiza coherencia temporal mientras reduce la complejidad. Nuestro enfoque no requiere supervisión explícita a nivel de fotogramas y mejora consistentemente el rendimiento en razonamiento en múltiples benchmarks de preguntas y respuestas sobre videos, destacando los beneficios de alinear la selección de fotogramas con la utilidad interna del modelo.

English

Recent progress in Large Multi-modal Models (LMMs) has enabled effective vision-language reasoning, yet the ability to understand video content remains constrained by suboptimal frame selection strategies. Existing approaches often rely on static heuristics or external retrieval modules to feed frame information into video-LLMs, which may fail to provide the query-relevant information. In this work, we introduce ReFoCUS (Reinforcement-guided Frame Optimization for Contextual UnderStanding), a novel frame-level policy optimization framework that shifts the optimization target from textual responses to visual input selection. ReFoCUS learns a frame selection policy via reinforcement learning, using reward signals derived from a reference LMM to reflect the model's intrinsic preferences for frames that best support temporally grounded responses. To efficiently explore the large combinatorial frame space, we employ an autoregressive, conditional selection architecture that ensures temporal coherence while reducing complexity. Our approach does not require explicit supervision at the frame-level and consistently improves reasoning performance across multiple video QA benchmarks, highlighting the benefits of aligning frame selection with model-internal utility.