ReFoCUS: Ottimizzazione Guidata dal Rinforzo per la Comprensione Contestuale

ReFoCUS: Reinforcement-guided Frame Optimization for Contextual Understanding

June 2, 2025

Autori: Hosu Lee, Junho Kim, Hyunjun Kim, Yong Man Ro

cs.AI

Abstract

I recenti progressi nei Large Multi-modal Models (LMM) hanno consentito un efficace ragionamento visivo-linguistico, ma la capacità di comprendere i contenuti video rimane limitata da strategie subottimali di selezione dei frame. Gli approcci esistenti spesso si basano su euristiche statiche o moduli di recupero esterni per fornire informazioni sui frame ai video-LLM, il che potrebbe non garantire la rilevanza rispetto alla query. In questo lavoro, introduciamo ReFoCUS (Reinforcement-guided Frame Optimization for Contextual UnderStanding), un innovativo framework di ottimizzazione a livello di frame che sposta l'obiettivo di ottimizzazione dalle risposte testuali alla selezione degli input visivi. ReFoCUS apprende una politica di selezione dei frame tramite reinforcement learning, utilizzando segnali di ricompensa derivati da un LMM di riferimento per riflettere le preferenze intrinseche del modello per i frame che meglio supportano risposte temporalmente contestualizzate. Per esplorare in modo efficiente il vasto spazio combinatorio dei frame, adottiamo un'architettura di selezione condizionale autoregressiva che garantisce coerenza temporale riducendo al contempo la complessità. Il nostro approccio non richiede supervisione esplicita a livello di frame e migliora costantemente le prestazioni di ragionamento su diversi benchmark di video QA, evidenziando i vantaggi di allineare la selezione dei frame con l'utilità interna del modello.

English

Recent progress in Large Multi-modal Models (LMMs) has enabled effective vision-language reasoning, yet the ability to understand video content remains constrained by suboptimal frame selection strategies. Existing approaches often rely on static heuristics or external retrieval modules to feed frame information into video-LLMs, which may fail to provide the query-relevant information. In this work, we introduce ReFoCUS (Reinforcement-guided Frame Optimization for Contextual UnderStanding), a novel frame-level policy optimization framework that shifts the optimization target from textual responses to visual input selection. ReFoCUS learns a frame selection policy via reinforcement learning, using reward signals derived from a reference LMM to reflect the model's intrinsic preferences for frames that best support temporally grounded responses. To efficiently explore the large combinatorial frame space, we employ an autoregressive, conditional selection architecture that ensures temporal coherence while reducing complexity. Our approach does not require explicit supervision at the frame-level and consistently improves reasoning performance across multiple video QA benchmarks, highlighting the benefits of aligning frame selection with model-internal utility.