ReFoCUS: Оптимизация кадров с подкреплением для контекстуального понимания

ReFoCUS: Reinforcement-guided Frame Optimization for Contextual Understanding

June 2, 2025

Авторы: Hosu Lee, Junho Kim, Hyunjun Kim, Yong Man Ro

cs.AI

Аннотация

Недавние достижения в области крупных мультимодальных моделей (LMMs) позволили добиться эффективного анализа на стыке зрения и языка, однако способность понимать видеоконтент остается ограниченной из-за неоптимальных стратегий выбора кадров. Существующие подходы часто полагаются на статические эвристики или внешние модули извлечения для передачи информации о кадрах в видео-LLM, что может не обеспечивать релевантной информации для запроса. В данной работе мы представляем ReFoCUS (Reinforcement-guided Frame Optimization for Contextual UnderStanding) — новую структуру оптимизации на уровне кадров, которая смещает цель оптимизации с текстовых ответов на выбор визуальных входных данных. ReFoCUS обучает политику выбора кадров с помощью обучения с подкреплением, используя сигналы вознаграждения, полученные от эталонной LMM, чтобы отразить внутренние предпочтения модели для кадров, которые лучше всего поддерживают временно обусловленные ответы. Для эффективного исследования большого комбинаторного пространства кадров мы применяем авторегрессионную архитектуру условного выбора, которая обеспечивает временную согласованность, одновременно снижая сложность. Наш подход не требует явного контроля на уровне кадров и последовательно улучшает производительность анализа на нескольких бенчмарках для видео-вопросов, подчеркивая преимущества согласования выбора кадров с внутренней полезностью модели.

English

Recent progress in Large Multi-modal Models (LMMs) has enabled effective vision-language reasoning, yet the ability to understand video content remains constrained by suboptimal frame selection strategies. Existing approaches often rely on static heuristics or external retrieval modules to feed frame information into video-LLMs, which may fail to provide the query-relevant information. In this work, we introduce ReFoCUS (Reinforcement-guided Frame Optimization for Contextual UnderStanding), a novel frame-level policy optimization framework that shifts the optimization target from textual responses to visual input selection. ReFoCUS learns a frame selection policy via reinforcement learning, using reward signals derived from a reference LMM to reflect the model's intrinsic preferences for frames that best support temporally grounded responses. To efficiently explore the large combinatorial frame space, we employ an autoregressive, conditional selection architecture that ensures temporal coherence while reducing complexity. Our approach does not require explicit supervision at the frame-level and consistently improves reasoning performance across multiple video QA benchmarks, highlighting the benefits of aligning frame selection with model-internal utility.