VisionCoach: Verstärkung des geerdeten Video-Verstehens durch visuelle Wahrnehmungsaufforderung

VisionCoach: Reinforcing Grounded Video Reasoning via Visual-Perception Prompting

March 15, 2026

Autoren: Daeun Lee, Shoubin Yu, Yue Zhang, Mohit Bansal

cs.AI

Zusammenfassung

Video Reasoning erfordert von Modellen, dass sie fragerelevante Evidenzen über mehrere Frames hinweg lokalisieren und verfolgen. Obwohl Reinforcement Learning (RL) mit verifizierbaren Belohnungen die Genauigkeit verbessert, kämpft es nach wie vor mit zuverlässiger räumlich-zeitlicher Verankerung während des Reasoning-Prozesses. Darüber hinaus stützt sich die Verbesserung der Verankerung typischerweise auf skalierte Trainingsdaten oder Wahrnehmungswerkzeuge zur Inferenzzeit, was die Annotationskosten oder Rechenkosten erhöht. Um diese Herausforderung zu bewältigen, schlagen wir VisonCoach vor, ein eingabeadaptives RL-Framework, das die räumlich-zeitliche Verankerung durch visuelle Prompts als Trainingsleitfaden verbessert. Während des RL-Trainings werden visuelle Prompts selektiv auf anspruchsvolle Eingaben angewendet, um fragerelevante Evidenzen zu verstärken und Ablenkungen zu unterdrücken. Das Modell internalisiert diese Verbesserungen dann durch Selbst-Distillation, wodurch verankertes Reasoning direkt auf Rohvideos ohne visuelle Prompts zur Inferenzzeit ermöglicht wird. VisonCoach besteht aus zwei Komponenten: (1) einem Visuellen Prompt-Selektor, der geeignete Prompt-Typen basierend auf Video und Frage vorhersagt, und (2) einem Räumlich-Zeitlichen Reasoner, der mit RL unter visueller Prompt-Führung und objektbewussten Verankerungsbelohnungen optimiert wird, welche Objektidentitätskonsistenz und Überlappung mehrerer Begrenzungsrahmen erzwingen. Umfangreiche Experimente zeigen, dass VisonCoach unter vergleichbaren Bedingungen state-of-the-art Leistung über diverse Video-Reasoning-, Video-Understanding- und temporale Verankerungs-Benchmarks (V-STAR, VideoMME, World-Sense, VideoMMMU, PerceptionTest und Charades-STA) hinweg erreicht, während ein einzelner effizienter Inferenzpfad ohne externe Werkzeuge beibehalten wird. Unsere Ergebnisse zeigen, dass visuelle Prompts während des Trainings verankertes Video-Reasoning verbessern, während Selbst-Distillation es dem Modell ermöglicht, diese Fähigkeit zu internalisieren, ohne Prompts zur Inferenzzeit zu benötigen.

English

Video reasoning requires models to locate and track question-relevant evidence across frames. While reinforcement learning (RL) with verifiable rewards improves accuracy, it still struggles to achieve reliable spatio-temporal grounding during the reasoning process. Moreover, improving grounding typically relies on scaled training data or inference-time perception tools, which increases annotation cost or computational cost. To address this challenge, we propose VisonCoach, an input-adaptive RL framework that improves spatio-temporal grounding through visual prompting as training-time guidance. During RL training, visual prompts are selectively applied to challenging inputs to amplify question-relevant evidence and suppress distractors. The model then internalizes these improvements through self-distillation, enabling grounded reasoning directly on raw videos without visual prompting at inference. VisonCoach consists of two components: (1) Visual Prompt Selector, which predicts appropriate prompt types conditioned on the video and question, and (2) Spatio-Temporal Reasoner, optimized with RL under visual prompt guidance and object-aware grounding rewards that enforce object identity consistency and multi-region bounding-box overlap. Extensive experiments demonstrate that VisonCoach achieves state-of-the-art performance under comparable settings, across diverse video reasoning, video understanding, and temporal grounding benchmarks (V-STAR, VideoMME, World-Sense, VideoMMMU, PerceptionTest, and Charades-STA), while maintaining a single efficient inference pathway without external tools. Our results show that visual prompting during training improves grounded video reasoning, while self-distillation enables the model to internalize this ability without requiring prompts at inference time.