Apprendimento per Rinforzo Basato su Contesto per il Ragionamento Visivo

Abstract

Mentre l'apprendimento per rinforzo (RL) su catene di pensiero ha significativamente migliorato i modelli linguistici in compiti come la matematica e la programmazione, il ragionamento visivo introduce una complessità aggiuntiva richiedendo ai modelli di dirigere l'attenzione visiva, interpretare input percettivi e ancorare il ragionamento astratto a evidenze spaziali. Introduciamo ViGoRL (Visually Grounded Reinforcement Learning), un modello visione-linguaggio addestrato con RL per ancorare esplicitamente ogni passo di ragionamento a coordinate visive specifiche. Ispirato dal processo decisionale visivo umano, ViGoRL impara a produrre tracce di ragionamento spazialmente ancorate, guidando l'attenzione visiva verso regioni rilevanti per il compito a ogni passo. Quando è necessaria un'esplorazione fine, il nostro innovativo framework RL multi-turn consente al modello di ingrandire dinamicamente le coordinate previste man mano che il ragionamento procede. Su un insieme diversificato di benchmark di ragionamento visivo—inclusi SAT-2 e BLINK per il ragionamento spaziale, V*bench per la ricerca visiva, e ScreenSpot e VisualWebArena per l'ancoraggio basato sul web—ViGoRL supera costantemente sia il fine-tuning supervisionato che i baseline RL convenzionali privi di meccanismi espliciti di ancoraggio. L'incorporazione del RL multi-turn con feedback visivo ingrandito migliora significativamente le prestazioni di ViGoRL nel localizzare piccoli elementi GUI e nella ricerca visiva, raggiungendo l'86,4% su V*Bench. Inoltre, scopriamo che l'ancoraggio amplifica altri comportamenti visivi come l'esplorazione di regioni, la definizione di sottobiettivi ancorati e la verifica visiva. Infine, valutazioni umane mostrano che i riferimenti visivi del modello non sono solo spazialmente accurati, ma anche utili per comprendere i passi di ragionamento del modello. I nostri risultati dimostrano che il RL visivamente ancorato è un paradigma forte per dotare i modelli di ragionamento visivo di uso generale.

English

While reinforcement learning (RL) over chains of thought has significantly advanced language models in tasks such as mathematics and coding, visual reasoning introduces added complexity by requiring models to direct visual attention, interpret perceptual inputs, and ground abstract reasoning in spatial evidence. We introduce ViGoRL (Visually Grounded Reinforcement Learning), a vision-language model trained with RL to explicitly anchor each reasoning step to specific visual coordinates. Inspired by human visual decision-making, ViGoRL learns to produce spatially grounded reasoning traces, guiding visual attention to task-relevant regions at each step. When fine-grained exploration is required, our novel multi-turn RL framework enables the model to dynamically zoom into predicted coordinates as reasoning unfolds. Across a diverse set of visual reasoning benchmarks--including SAT-2 and BLINK for spatial reasoning, V*bench for visual search, and ScreenSpot and VisualWebArena for web-based grounding--ViGoRL consistently outperforms both supervised fine-tuning and conventional RL baselines that lack explicit grounding mechanisms. Incorporating multi-turn RL with zoomed-in visual feedback significantly improves ViGoRL's performance on localizing small GUI elements and visual search, achieving 86.4% on V*Bench. Additionally, we find that grounding amplifies other visual behaviors such as region exploration, grounded subgoal setting, and visual verification. Finally, human evaluations show that the model's visual references are not only spatially accurate but also helpful for understanding model reasoning steps. Our results show that visually grounded RL is a strong paradigm for imbuing models with general-purpose visual reasoning.

Apprendimento per Rinforzo Basato su Contesto per il Ragionamento Visivo

Grounded Reinforcement Learning for Visual Reasoning

Abstract

Support