Gebundenes Verstärkungslernen für visuelles Schließen

Grounded Reinforcement Learning for Visual Reasoning

May 29, 2025

Autoren: Gabriel Sarch, Snigdha Saha, Naitik Khandelwal, Ayush Jain, Michael J. Tarr, Aviral Kumar, Katerina Fragkiadaki

cs.AI

Zusammenfassung

Während Reinforcement Learning (RL) über Gedankenketten Sprachmodelle in Aufgaben wie Mathematik und Codierung erheblich vorangebracht hat, führt visuelles Denken zusätzliche Komplexität ein, indem es von Modellen verlangt, visuelle Aufmerksamkeit zu lenken, Wahrnehmungseingaben zu interpretieren und abstraktes Denken in räumliche Evidenz zu verankern. Wir stellen ViGoRL (Visually Grounded Reinforcement Learning) vor, ein Vision-Sprache-Modell, das mit RL trainiert wurde, um jeden Denkschritt explizit an spezifische visuelle Koordinaten zu binden. Inspiriert von der menschlichen visuellen Entscheidungsfindung, lernt ViGoRL, räumlich verankerte Denkspuren zu erzeugen, die die visuelle Aufmerksamkeit in jedem Schritt auf aufgabenrelevante Regionen lenken. Wenn eine feinkörnige Exploration erforderlich ist, ermöglicht unser neuartiges Multi-Turn-RL-Framework dem Modell, sich dynamisch in vorhergesagte Koordinaten hineinzuzoomen, während das Denken fortschreitet. Über eine Vielzahl von visuellen Denkbenchmarks hinweg – einschließlich SAT-2 und BLINK für räumliches Denken, V*bench für visuelle Suche sowie ScreenSpot und VisualWebArena für webbasierte Verankerung – übertrifft ViGoRL durchweg sowohl überwachtes Feinabstimmen als auch konventionelle RL-Baselines, denen explizite Verankerungsmechanismen fehlen. Die Einbindung von Multi-Turn-RL mit hereingezoomtem visuellem Feedback verbessert die Leistung von ViGoRL bei der Lokalisierung kleiner GUI-Elemente und der visuellen Suche signifikant und erreicht 86,4 % auf V*Bench. Darüber hinaus stellen wir fest, dass die Verankerung andere visuelle Verhaltensweisen wie Regionenexploration, verankerte Teilzielsetzung und visuelle Verifikation verstärkt. Schließlich zeigen menschliche Bewertungen, dass die visuellen Referenzen des Modells nicht nur räumlich präzise, sondern auch hilfreich für das Verständnis der Denkschritte des Modells sind. Unsere Ergebnisse zeigen, dass visuell verankertes RL ein starkes Paradigma ist, um Modelle mit allgemeinem visuellen Denken auszustatten.

English

While reinforcement learning (RL) over chains of thought has significantly advanced language models in tasks such as mathematics and coding, visual reasoning introduces added complexity by requiring models to direct visual attention, interpret perceptual inputs, and ground abstract reasoning in spatial evidence. We introduce ViGoRL (Visually Grounded Reinforcement Learning), a vision-language model trained with RL to explicitly anchor each reasoning step to specific visual coordinates. Inspired by human visual decision-making, ViGoRL learns to produce spatially grounded reasoning traces, guiding visual attention to task-relevant regions at each step. When fine-grained exploration is required, our novel multi-turn RL framework enables the model to dynamically zoom into predicted coordinates as reasoning unfolds. Across a diverse set of visual reasoning benchmarks--including SAT-2 and BLINK for spatial reasoning, V*bench for visual search, and ScreenSpot and VisualWebArena for web-based grounding--ViGoRL consistently outperforms both supervised fine-tuning and conventional RL baselines that lack explicit grounding mechanisms. Incorporating multi-turn RL with zoomed-in visual feedback significantly improves ViGoRL's performance on localizing small GUI elements and visual search, achieving 86.4% on V*Bench. Additionally, we find that grounding amplifies other visual behaviors such as region exploration, grounded subgoal setting, and visual verification. Finally, human evaluations show that the model's visual references are not only spatially accurate but also helpful for understanding model reasoning steps. Our results show that visually grounded RL is a strong paradigm for imbuing models with general-purpose visual reasoning.