Apprentissage par Renforcement Fondé pour le Raisonnement Visuel

Grounded Reinforcement Learning for Visual Reasoning

May 29, 2025

Auteurs: Gabriel Sarch, Snigdha Saha, Naitik Khandelwal, Ayush Jain, Michael J. Tarr, Aviral Kumar, Katerina Fragkiadaki

cs.AI

Résumé

Alors que l'apprentissage par renforcement (RL) sur des chaînes de pensée a considérablement fait progresser les modèles de langage dans des tâches telles que les mathématiques et la programmation, le raisonnement visuel introduit une complexité supplémentaire en exigeant que les modèles dirigent l'attention visuelle, interprètent les entrées perceptuelles et ancrent le raisonnement abstrait dans des preuves spatiales. Nous présentons ViGoRL (Visually Grounded Reinforcement Learning), un modèle vision-langage entraîné avec RL pour ancrer explicitement chaque étape de raisonnement à des coordonnées visuelles spécifiques. Inspiré par la prise de décision visuelle humaine, ViGoRL apprend à produire des traces de raisonnement spatialement ancrées, guidant l'attention visuelle vers les régions pertinentes pour la tâche à chaque étape. Lorsqu'une exploration fine est nécessaire, notre nouveau cadre RL multi-tours permet au modèle de zoomer dynamiquement sur les coordonnées prédites au fur et à mesure que le raisonnement se déroule. Sur un ensemble diversifié de benchmarks de raisonnement visuel—incluant SAT-2 et BLINK pour le raisonnement spatial, V*bench pour la recherche visuelle, et ScreenSpot et VisualWebArena pour l'ancrage basé sur le web—ViGoRL surpasse systématiquement à la fois le fine-tuning supervisé et les baselines RL conventionnelles qui manquent de mécanismes d'ancrage explicites. L'intégration du RL multi-tours avec un retour visuel zoomé améliore significativement les performances de ViGoRL pour la localisation de petits éléments d'interface graphique et la recherche visuelle, atteignant 86,4 % sur V*Bench. De plus, nous constatons que l'ancrage amplifie d'autres comportements visuels tels que l'exploration de régions, la définition de sous-objectifs ancrés et la vérification visuelle. Enfin, les évaluations humaines montrent que les références visuelles du modèle sont non seulement spatialement précises, mais aussi utiles pour comprendre les étapes de raisonnement du modèle. Nos résultats montrent que le RL visuellement ancré est un paradigme puissant pour doter les modèles de raisonnement visuel généraliste.

English

While reinforcement learning (RL) over chains of thought has significantly advanced language models in tasks such as mathematics and coding, visual reasoning introduces added complexity by requiring models to direct visual attention, interpret perceptual inputs, and ground abstract reasoning in spatial evidence. We introduce ViGoRL (Visually Grounded Reinforcement Learning), a vision-language model trained with RL to explicitly anchor each reasoning step to specific visual coordinates. Inspired by human visual decision-making, ViGoRL learns to produce spatially grounded reasoning traces, guiding visual attention to task-relevant regions at each step. When fine-grained exploration is required, our novel multi-turn RL framework enables the model to dynamically zoom into predicted coordinates as reasoning unfolds. Across a diverse set of visual reasoning benchmarks--including SAT-2 and BLINK for spatial reasoning, V*bench for visual search, and ScreenSpot and VisualWebArena for web-based grounding--ViGoRL consistently outperforms both supervised fine-tuning and conventional RL baselines that lack explicit grounding mechanisms. Incorporating multi-turn RL with zoomed-in visual feedback significantly improves ViGoRL's performance on localizing small GUI elements and visual search, achieving 86.4% on V*Bench. Additionally, we find that grounding amplifies other visual behaviors such as region exploration, grounded subgoal setting, and visual verification. Finally, human evaluations show that the model's visual references are not only spatially accurate but also helpful for understanding model reasoning steps. Our results show that visually grounded RL is a strong paradigm for imbuing models with general-purpose visual reasoning.