Aprendizaje por Refuerzo Basado en Fundamentos para el Razonamiento Visual

Grounded Reinforcement Learning for Visual Reasoning

May 29, 2025

Autores: Gabriel Sarch, Snigdha Saha, Naitik Khandelwal, Ayush Jain, Michael J. Tarr, Aviral Kumar, Katerina Fragkiadaki

cs.AI

Resumen

Si bien el aprendizaje por refuerzo (RL, por sus siglas en inglés) sobre cadenas de pensamiento ha avanzado significativamente los modelos de lenguaje en tareas como matemáticas y programación, el razonamiento visual introduce una complejidad adicional al requerir que los modelos dirijan la atención visual, interpreten entradas perceptuales y fundamenten el razonamiento abstracto en evidencia espacial. Presentamos ViGoRL (Visually Grounded Reinforcement Learning), un modelo de visión y lenguaje entrenado con RL para anclar explícitamente cada paso de razonamiento a coordenadas visuales específicas. Inspirado en la toma de decisiones visuales humanas, ViGoRL aprende a producir trazas de razonamiento espacialmente fundamentadas, guiando la atención visual hacia regiones relevantes para la tarea en cada paso. Cuando se requiere una exploración detallada, nuestro novedoso marco de RL de múltiples turnos permite que el modelo haga zoom dinámicamente en las coordenadas predichas a medida que se desarrolla el razonamiento. En un conjunto diverso de benchmarks de razonamiento visual—incluyendo SAT-2 y BLINK para razonamiento espacial, V*bench para búsqueda visual, y ScreenSpot y VisualWebArena para fundamentación basada en la web—ViGoRL supera consistentemente tanto el ajuste fino supervisado como los baselines convencionales de RL que carecen de mecanismos explícitos de fundamentación. La incorporación de RL de múltiples turnos con retroalimentación visual ampliada mejora significativamente el rendimiento de ViGoRL en la localización de pequeños elementos de GUI y en la búsqueda visual, alcanzando un 86.4% en V*Bench. Además, encontramos que la fundamentación amplifica otros comportamientos visuales, como la exploración de regiones, la configuración de subobjetivos fundamentados y la verificación visual. Finalmente, las evaluaciones humanas muestran que las referencias visuales del modelo no solo son espacialmente precisas, sino también útiles para comprender los pasos de razonamiento del modelo. Nuestros resultados demuestran que el RL visualmente fundamentado es un paradigma sólido para dotar a los modelos de razonamiento visual de propósito general.

English

While reinforcement learning (RL) over chains of thought has significantly advanced language models in tasks such as mathematics and coding, visual reasoning introduces added complexity by requiring models to direct visual attention, interpret perceptual inputs, and ground abstract reasoning in spatial evidence. We introduce ViGoRL (Visually Grounded Reinforcement Learning), a vision-language model trained with RL to explicitly anchor each reasoning step to specific visual coordinates. Inspired by human visual decision-making, ViGoRL learns to produce spatially grounded reasoning traces, guiding visual attention to task-relevant regions at each step. When fine-grained exploration is required, our novel multi-turn RL framework enables the model to dynamically zoom into predicted coordinates as reasoning unfolds. Across a diverse set of visual reasoning benchmarks--including SAT-2 and BLINK for spatial reasoning, V*bench for visual search, and ScreenSpot and VisualWebArena for web-based grounding--ViGoRL consistently outperforms both supervised fine-tuning and conventional RL baselines that lack explicit grounding mechanisms. Incorporating multi-turn RL with zoomed-in visual feedback significantly improves ViGoRL's performance on localizing small GUI elements and visual search, achieving 86.4% on V*Bench. Additionally, we find that grounding amplifies other visual behaviors such as region exploration, grounded subgoal setting, and visual verification. Finally, human evaluations show that the model's visual references are not only spatially accurate but also helpful for understanding model reasoning steps. Our results show that visually grounded RL is a strong paradigm for imbuing models with general-purpose visual reasoning.