ReFoCUS: Reinforcement-gestuurde Frame-optimalisatie voor Contextueel Begrip

ReFoCUS: Reinforcement-guided Frame Optimization for Contextual Understanding

June 2, 2025

Auteurs: Hosu Lee, Junho Kim, Hyunjun Kim, Yong Man Ro

cs.AI

Samenvatting

Recente vooruitgang in Grote Multimodale Modellen (LMMs) heeft effectief visueel-taalkundig redeneren mogelijk gemaakt, maar het vermogen om video-inhoud te begrijpen blijft beperkt door suboptimale frame-selectiestrategieën. Bestaande benaderingen vertrouwen vaak op statische heuristieken of externe retrievalsystemen om frame-informatie aan video-LLMs te voeden, wat mogelijk niet de query-relevante informatie levert. In dit werk introduceren we ReFoCUS (Reinforcement-guided Frame Optimization for Contextual UnderStanding), een nieuw raamwerk voor frame-level beleidsoptimalisatie dat het optimalisatiedoel verschuift van tekstuele reacties naar visuele inputselectie. ReFoCUS leert een frame-selectiebeleid via reinforcement learning, waarbij beloningssignalen afgeleid van een referentie-LMM worden gebruikt om de intrinsieke voorkeuren van het model weer te geven voor frames die het best geschikt zijn voor temporeel onderbouwde reacties. Om de grote combinatorische frame-ruimte efficiënt te verkennen, gebruiken we een autoregressieve, conditionele selectiearchitectuur die temporele samenhang waarborgt terwijl de complexiteit wordt verminderd. Onze aanpak vereist geen expliciete supervisie op frame-niveau en verbetert consequent de redeneerprestaties over meerdere video-QA-benchmarks, wat de voordelen benadrukt van het afstemmen van frameselectie op modelinterne nuttigheid.

English

Recent progress in Large Multi-modal Models (LMMs) has enabled effective vision-language reasoning, yet the ability to understand video content remains constrained by suboptimal frame selection strategies. Existing approaches often rely on static heuristics or external retrieval modules to feed frame information into video-LLMs, which may fail to provide the query-relevant information. In this work, we introduce ReFoCUS (Reinforcement-guided Frame Optimization for Contextual UnderStanding), a novel frame-level policy optimization framework that shifts the optimization target from textual responses to visual input selection. ReFoCUS learns a frame selection policy via reinforcement learning, using reward signals derived from a reference LMM to reflect the model's intrinsic preferences for frames that best support temporally grounded responses. To efficiently explore the large combinatorial frame space, we employ an autoregressive, conditional selection architecture that ensures temporal coherence while reducing complexity. Our approach does not require explicit supervision at the frame-level and consistently improves reasoning performance across multiple video QA benchmarks, highlighting the benefits of aligning frame selection with model-internal utility.