視覚的推論のためのグラウンディング強化学習

Grounded Reinforcement Learning for Visual Reasoning

May 29, 2025

著者: Gabriel Sarch, Snigdha Saha, Naitik Khandelwal, Ayush Jain, Michael J. Tarr, Aviral Kumar, Katerina Fragkiadaki

cs.AI

要旨

思考連鎖に対する強化学習（RL）は、数学やコーディングなどのタスクにおいて言語モデルを大幅に進化させてきたが、視覚的推論は、モデルが視覚的注意を向け、知覚入力を解釈し、抽象的な推論を空間的証拠に基づかせることを要求するため、さらなる複雑さを導入する。本論文では、ViGoRL（Visually Grounded Reinforcement Learning）を紹介する。これは、各推論ステップを特定の視覚座標に明示的に結び付けるようRLで訓練された視覚-言語モデルである。人間の視覚的意思決定に着想を得たViGoRLは、空間的に根拠のある推論トレースを生成し、各ステップでタスクに関連する領域に視覚的注意を向けることを学習する。細かい探索が必要な場合、我々の新しいマルチターンRLフレームワークにより、モデルは推論が進むにつれて予測された座標に動的にズームインすることが可能となる。空間推論のためのSAT-2やBLINK、視覚探索のためのV*bench、ウェブベースのグラウンディングのためのScreenSpotやVisualWebArenaなど、多様な視覚推論ベンチマークにおいて、ViGoRLは明示的なグラウンディング機構を欠く教師ありファインチューニングや従来のRLベースラインを一貫して上回る。ズームインした視覚的フィードバックを組み込んだマルチターンRLは、ViGoRLの小さなGUI要素のローカライズや視覚探索の性能を大幅に向上させ、V*Benchで86.4%を達成した。さらに、グラウンディングは、領域探索、根拠のあるサブゴール設定、視覚的検証などの他の視覚的行動を増幅することがわかった。最後に、人間による評価では、モデルの視覚的参照が空間的に正確であるだけでなく、モデルの推論ステップを理解するのに役立つことが示された。我々の結果は、視覚的に根拠のあるRLが、モデルに汎用的な視覚推論能力を付与するための強力なパラダイムであることを示している。

English

While reinforcement learning (RL) over chains of thought has significantly advanced language models in tasks such as mathematics and coding, visual reasoning introduces added complexity by requiring models to direct visual attention, interpret perceptual inputs, and ground abstract reasoning in spatial evidence. We introduce ViGoRL (Visually Grounded Reinforcement Learning), a vision-language model trained with RL to explicitly anchor each reasoning step to specific visual coordinates. Inspired by human visual decision-making, ViGoRL learns to produce spatially grounded reasoning traces, guiding visual attention to task-relevant regions at each step. When fine-grained exploration is required, our novel multi-turn RL framework enables the model to dynamically zoom into predicted coordinates as reasoning unfolds. Across a diverse set of visual reasoning benchmarks--including SAT-2 and BLINK for spatial reasoning, V*bench for visual search, and ScreenSpot and VisualWebArena for web-based grounding--ViGoRL consistently outperforms both supervised fine-tuning and conventional RL baselines that lack explicit grounding mechanisms. Incorporating multi-turn RL with zoomed-in visual feedback significantly improves ViGoRL's performance on localizing small GUI elements and visual search, achieving 86.4% on V*Bench. Additionally, we find that grounding amplifies other visual behaviors such as region exploration, grounded subgoal setting, and visual verification. Finally, human evaluations show that the model's visual references are not only spatially accurate but also helpful for understanding model reasoning steps. Our results show that visually grounded RL is a strong paradigm for imbuing models with general-purpose visual reasoning.