ReFoCUS: Otimização de Quadros Guiada por Reforço para Compreensão Contextual

ReFoCUS: Reinforcement-guided Frame Optimization for Contextual Understanding

June 2, 2025

Autores: Hosu Lee, Junho Kim, Hyunjun Kim, Yong Man Ro

cs.AI

Resumo

Os avanços recentes em Modelos Multimodais de Grande Escala (LMMs) têm permitido um raciocínio eficaz entre visão e linguagem, mas a capacidade de compreender conteúdo de vídeo ainda é limitada por estratégias subótimas de seleção de quadros. As abordagens existentes frequentemente dependem de heurísticas estáticas ou módulos externos de recuperação para fornecer informações de quadros aos video-LLMs, o que pode falhar em fornecer informações relevantes à consulta. Neste trabalho, introduzimos o ReFoCUS (Reinforcement-guided Frame Optimization for Contextual UnderStanding), uma nova estrutura de otimização de política em nível de quadro que desloca o alvo de otimização das respostas textuais para a seleção de entrada visual. O ReFoCUS aprende uma política de seleção de quadros por meio de aprendizado por reforço, utilizando sinais de recompensa derivados de um LMM de referência para refletir as preferências intrínsecas do modelo por quadros que melhor suportam respostas temporalmente fundamentadas. Para explorar de forma eficiente o grande espaço combinatório de quadros, empregamos uma arquitetura de seleção condicional autoregressiva que garante coerência temporal enquanto reduz a complexidade. Nossa abordagem não requer supervisão explícita em nível de quadro e melhora consistentemente o desempenho de raciocínio em vários benchmarks de QA de vídeo, destacando os benefícios de alinhar a seleção de quadros com a utilidade interna do modelo.

English

Recent progress in Large Multi-modal Models (LMMs) has enabled effective vision-language reasoning, yet the ability to understand video content remains constrained by suboptimal frame selection strategies. Existing approaches often rely on static heuristics or external retrieval modules to feed frame information into video-LLMs, which may fail to provide the query-relevant information. In this work, we introduce ReFoCUS (Reinforcement-guided Frame Optimization for Contextual UnderStanding), a novel frame-level policy optimization framework that shifts the optimization target from textual responses to visual input selection. ReFoCUS learns a frame selection policy via reinforcement learning, using reward signals derived from a reference LMM to reflect the model's intrinsic preferences for frames that best support temporally grounded responses. To efficiently explore the large combinatorial frame space, we employ an autoregressive, conditional selection architecture that ensures temporal coherence while reducing complexity. Our approach does not require explicit supervision at the frame-level and consistently improves reasoning performance across multiple video QA benchmarks, highlighting the benefits of aligning frame selection with model-internal utility.