Gegrond Versterkend Leren voor Visueel Redeneren

Samenvatting

Hoewel reinforcement learning (RL) over gedachteketens taalmodellen aanzienlijk heeft verbeterd in taken zoals wiskunde en coderen, introduceert visueel redeneren extra complexiteit door modellen te vereisen om visuele aandacht te sturen, perceptuele inputs te interpreteren en abstract redeneren te verankeren in ruimtelijk bewijs. We introduceren ViGoRL (Visually Grounded Reinforcement Learning), een visie-taalmodel getraind met RL om elke redeneerstap expliciet te verankeren aan specifieke visuele coördinaten. Geïnspireerd door menselijk visueel besluitvormingsproces, leert ViGoRL ruimtelijk verankerde redeneersporen te produceren, waarbij visuele aandacht wordt geleid naar taakrelevante regio's bij elke stap. Wanneer fijnmazige exploratie vereist is, stelt ons nieuwe multi-turn RL-framework het model in staat om dynamisch in te zoomen op voorspelde coördinaten terwijl het redeneren zich ontvouwt. Over een diverse set van visuele redeneerbenchmarks—inclusief SAT-2 en BLINK voor ruimtelijk redeneren, V*bench voor visueel zoeken, en ScreenSpot en VisualWebArena voor webgebaseerde verankering—presteert ViGoRL consistent beter dan zowel supervised fine-tuning als conventionele RL-baselines die expliciete verankeringsmechanismen missen. Het incorporeren van multi-turn RL met ingezoomde visuele feedback verbetert de prestaties van ViGoRL aanzienlijk bij het lokaliseren van kleine GUI-elementen en visueel zoeken, met een score van 86,4% op V*Bench. Daarnaast ontdekken we dat verankering andere visuele gedragingen versterkt, zoals regio-exploratie, verankerde subdoelstellingen en visuele verificatie. Tot slot tonen menselijke evaluaties aan dat de visuele referenties van het model niet alleen ruimtelijk accuraat zijn, maar ook nuttig voor het begrijpen van de redeneerstappen van het model. Onze resultaten tonen aan dat visueel verankerde RL een sterk paradigma is voor het uitrusten van modellen met algemeen toepasbaar visueel redeneren.

English

While reinforcement learning (RL) over chains of thought has significantly advanced language models in tasks such as mathematics and coding, visual reasoning introduces added complexity by requiring models to direct visual attention, interpret perceptual inputs, and ground abstract reasoning in spatial evidence. We introduce ViGoRL (Visually Grounded Reinforcement Learning), a vision-language model trained with RL to explicitly anchor each reasoning step to specific visual coordinates. Inspired by human visual decision-making, ViGoRL learns to produce spatially grounded reasoning traces, guiding visual attention to task-relevant regions at each step. When fine-grained exploration is required, our novel multi-turn RL framework enables the model to dynamically zoom into predicted coordinates as reasoning unfolds. Across a diverse set of visual reasoning benchmarks--including SAT-2 and BLINK for spatial reasoning, V*bench for visual search, and ScreenSpot and VisualWebArena for web-based grounding--ViGoRL consistently outperforms both supervised fine-tuning and conventional RL baselines that lack explicit grounding mechanisms. Incorporating multi-turn RL with zoomed-in visual feedback significantly improves ViGoRL's performance on localizing small GUI elements and visual search, achieving 86.4% on V*Bench. Additionally, we find that grounding amplifies other visual behaviors such as region exploration, grounded subgoal setting, and visual verification. Finally, human evaluations show that the model's visual references are not only spatially accurate but also helpful for understanding model reasoning steps. Our results show that visually grounded RL is a strong paradigm for imbuing models with general-purpose visual reasoning.

Gegrond Versterkend Leren voor Visueel Redeneren

Grounded Reinforcement Learning for Visual Reasoning

Samenvatting

Support