ReFoCUS: Verstärkungsgeleitete Rahmenoptimierung für kontextuelles Verständnis

ReFoCUS: Reinforcement-guided Frame Optimization for Contextual Understanding

June 2, 2025

Autoren: Hosu Lee, Junho Kim, Hyunjun Kim, Yong Man Ro

cs.AI

Zusammenfassung

Jüngste Fortschritte bei großen multimodalen Modellen (Large Multi-modal Models, LMMs) haben effektives visuell-sprachliches Schließen ermöglicht, doch die Fähigkeit, Videoinhalte zu verstehen, bleibt durch suboptimale Strategien zur Bildauswahl eingeschränkt. Bestehende Ansätze verlassen sich oft auf statische Heuristiken oder externe Retrieval-Module, um Bildinformationen in Video-LLMs einzuspeisen, was möglicherweise nicht die abfragerelevanten Informationen liefert. In dieser Arbeit stellen wir ReFoCUS (Reinforcement-guided Frame Optimization for Contextual UnderStanding) vor, ein neuartiges Framework zur Optimierung von Bildauswahlrichtlinien auf Bildebene, das das Optimierungsziel von textuellen Antworten auf die Auswahl visueller Eingaben verlagert. ReFoCUS erlernt eine Bildauswahlrichtlinie durch Reinforcement Learning, wobei Belohnungssignale verwendet werden, die von einem Referenz-LMM abgeleitet werden, um die intrinsischen Präferenzen des Modells für Bilder widerzuspiegeln, die zeitlich fundierte Antworten am besten unterstützen. Um den großen kombinatorischen Bildraum effizient zu erkunden, verwenden wir eine autoregressive, bedingte Auswahlarchitektur, die zeitliche Kohärenz sicherstellt und gleichzeitig die Komplexität reduziert. Unser Ansatz erfordert keine explizite Überwachung auf Bildebene und verbessert kontinuierlich die Schließleistung über mehrere Video-QA-Benchmarks hinweg, was die Vorteile der Ausrichtung der Bildauswahl auf die modellinterne Nützlichkeit unterstreicht.

English

Recent progress in Large Multi-modal Models (LMMs) has enabled effective vision-language reasoning, yet the ability to understand video content remains constrained by suboptimal frame selection strategies. Existing approaches often rely on static heuristics or external retrieval modules to feed frame information into video-LLMs, which may fail to provide the query-relevant information. In this work, we introduce ReFoCUS (Reinforcement-guided Frame Optimization for Contextual UnderStanding), a novel frame-level policy optimization framework that shifts the optimization target from textual responses to visual input selection. ReFoCUS learns a frame selection policy via reinforcement learning, using reward signals derived from a reference LMM to reflect the model's intrinsic preferences for frames that best support temporally grounded responses. To efficiently explore the large combinatorial frame space, we employ an autoregressive, conditional selection architecture that ensures temporal coherence while reducing complexity. Our approach does not require explicit supervision at the frame-level and consistently improves reasoning performance across multiple video QA benchmarks, highlighting the benefits of aligning frame selection with model-internal utility.